Đánh giá năng lực AI bằng bài làm thật nghĩa là giao cho người được đánh giá một việc giống việc họ làm hằng ngày, kèm dữ liệu giả định có cài sẵn vài chỗ khó, cho họ làm cùng công cụ AI được duyệt trong khoảng 45 đến 90 phút, rồi chấm theo tiêu chí hành vi và hỏi lại ngắn về cách họ làm. Cách này đo đúng thứ công ty cần, tức là làm ra kết quả đúng và có trách nhiệm với AI, chứ không đo việc nhớ khái niệm.
Bài này dành cho người phụ trách đào tạo, nhân sự hoặc trưởng phòng muốn dùng bài làm thật để xác nhận cấp độ trong khung năng lực AI nội bộ, chọn người vào nhóm thí điểm, hoặc kiểm tra kết quả sau khoá học. Nội dung gồm cách thiết kế đề, cài bẫy hợp lý, viết tiêu chí chấm, chọn người chấm, tổ chức buổi làm bài, và những điều cần tránh để bài đánh giá công bằng. Đo hiệu quả của cả khoá học thì thuộc chuyên mục đo hiệu quả khoá học AI.
Vì sao bài làm thật đo tốt hơn bài trắc nghiệm
Bài trắc nghiệm hỏi "nên làm gì khi AI đưa ra số liệu không có trong tài liệu gốc", và hầu hết mọi người chọn đúng đáp án "đối chiếu với nguồn". Bài làm thật thì cài một con số sai vào kết quả mà AI dễ tạo ra, và xem người làm có phát hiện không. Khoảng cách giữa biết nên làm và thật sự làm chính là thứ công ty cần đo.
Bài làm thật cũng cho thấy những thứ không viết thành câu hỏi được: người làm có hỏi lại khi đề mơ hồ không, có che dữ liệu trước khi dán vào công cụ không, chia việc ra sao, bỏ bao nhiêu thời gian cho việc kiểm, và khi hết giờ thì nộp bản gì kèm ghi chú gì. Người chấm có kinh nghiệm đọc được nhiều điều từ quá trình đó.
Nhược điểm là tốn công hơn: phải soạn đề, chuẩn bị dữ liệu, có người chấm. Vì vậy bài làm thật nên dành cho những quyết định có ý nghĩa như xác nhận lên cấp 2 hoặc cấp 3, chọn đại sứ AI, chọn người cho dự án, không cần dùng cho mọi lần kiểm tra nhanh sau buổi học.
Thiết kế đề: sáu bước từ việc thật đến đề thi
Một đề tốt giống việc thật đến mức người làm thấy quen, nhưng dữ liệu hoàn toàn là giả định và có chỗ khó được cài có chủ đích.
- Chọn một việc trọng tâm của vị trí. Lấy từ mô tả năng lực theo vị trí, ví dụ soạn email trả lời khách khiếu nại giao chậm, tổng hợp ba báo giá thành bảng so sánh, tóm tắt biên bản họp dài thành danh sách việc.
- Dựng dữ liệu giả định giữ nguyên độ lộn xộn. Bảng có ô gộp, ngày ghi nhiều kiểu, ghi chú viết tắt. Thay toàn bộ tên, số, mã bằng dữ liệu bịa nhưng hợp lý. Không dùng dữ liệu thật dù đã che.
- Cài hai đến ba chỗ khó. Ví dụ một thông tin cá nhân giả để xem người làm có che không; một mâu thuẫn giữa hai nguồn để xem có phát hiện không; một yêu cầu mơ hồ để xem có hỏi lại hoặc ghi giả định không.
- Viết đề như cách trưởng phòng thật giao việc. Ngắn, có bối cảnh, có hạn, không gợi ý cách làm. Ghi rõ được dùng công cụ AI nào và tài liệu nào.
- Quy định sản phẩm nộp. Kết quả cuối, kèm ghi chú ngắn: đã kiểm gì, giả định gì, chỗ nào chưa chắc. Ghi chú này quan trọng ngang kết quả.
- Cho một người ngoài nhóm làm thử. Xem thời gian có hợp lý không, đề có chỗ nào gây hiểu sai ngoài ý muốn không, rồi sửa trước khi dùng thật.
Mỗi đề nên có hai ba phiên bản tương đương với dữ liệu khác nhau, để người làm sau không nhận được đáp án từ người làm trước.
Tiêu chí chấm theo hành vi
Tiêu chí chấm nên công bố trước cho người làm bài. Mỗi tiêu chí chấm theo ba mức: chưa đạt, đạt, vững. Đây không phải điểm số để xếp hạng người với người, mà là cách xác định đã đạt cấp độ trong khung hay chưa.
| Tiêu chí | Chưa đạt | Đạt | Vững |
|---|---|---|---|
| Kết quả đúng và dùng được | Có lỗi sai thông tin hoặc không dùng được nếu không sửa nhiều | Đúng thông tin, cần sửa nhỏ về giọng hoặc trình bày | Gửi được ngay, đúng giọng và đúng người nhận |
| Kiểm chứng | Không phát hiện chỗ khó được cài | Phát hiện phần lớn, có ghi trong ghi chú | Phát hiện tất cả, giải thích cách kiểm, đề xuất cách tránh lần sau |
| Dữ liệu | Dán thông tin cá nhân giả vào công cụ mà không che | Che thông tin cá nhân, còn sót chi tiết nhỏ | Che đầy đủ, chọn đúng công cụ được duyệt, ghi rõ đã che gì |
| Cách làm việc với AI | Một câu lệnh dài, nhận bản đầu | Chia bước, có góp ý để AI sửa | Chia bước hợp lý, câu lệnh dùng lại được cho người khác |
| Xử lý mơ hồ | Tự đoán mà không ghi giả định | Ghi giả định rõ ràng | Ghi giả định và nêu câu hỏi cần hỏi người giao việc |
Để xác nhận cấp 2, thường yêu cầu đạt ở mọi tiêu chí; để xác nhận cấp 3, yêu cầu vững ở kiểm chứng và cách làm việc với AI. Ngưỡng cụ thể do công ty chốt và ghi vào khung, không thay đổi tuỳ người chấm.
Người chấm và buổi hỏi lại mười lăm phút
Người chấm nên là người hiểu việc của vị trí và đã đạt ít nhất cấp được đánh giá, ví dụ trưởng phòng cùng đại sứ AI. Với quyết định quan trọng như chọn người dự án, nên có hai người chấm độc lập rồi so kết quả. Chỗ lệch lớn giữa hai người thường cho thấy tiêu chí còn mơ hồ, nên sửa tiêu chí trước khi dùng tiếp.
Sau khi chấm sản phẩm, dành khoảng mười lăm phút hỏi lại người làm. Ba câu hỏi gợi ý: bạn đã kiểm những gì và vì sao; nếu được làm lại, bạn sẽ làm khác ở đâu; nếu không được dùng AI, bạn sẽ làm việc này thế nào. Buổi hỏi lại giúp phân biệt người làm đúng nhờ may với người làm đúng nhờ hiểu, và cho người làm bài cơ hội giải thích những chỗ ghi chú chưa rõ.
Người chấm cần được nhắc về thiên lệch hay gặp: đánh giá cao người viết trôi chảy dù sai thông tin, đánh giá thấp người làm chậm nhưng kiểm kỹ, ưu ái người quen. Chấm theo tiêu chí công bố, ghi lý do cho từng mức, và không xem tên người làm khi chấm sản phẩm nếu có thể, là ba cách giảm thiên lệch đơn giản.
Dùng kết quả: quyết định lên cấp và kế hoạch học tiếp
Kết quả bài làm thật chỉ có ý nghĩa khi dẫn tới một quyết định hoặc một kế hoạch. Với người đạt, ghi nhận cấp độ mới trong khung, giao một việc phù hợp với cấp đó trong tháng tiếp theo, chẳng hạn người vừa lên cấp 3 được giao viết lại quy trình kiểm cho một việc của phòng. Ghi nhận mà không giao việc mới thì cấp độ chỉ nằm trên giấy.
Với người chưa đạt, nhận xét nên chỉ ra đúng tiêu chí còn yếu và một bài luyện cụ thể cho tiêu chí đó, không nhận xét chung kiểu "cần cẩn thận hơn". Người yếu ở kiểm chứng luyện với bộ dữ liệu có cài lỗi; người yếu ở dữ liệu luyện thói quen che trước khi dán.
Với người phụ trách đào tạo, tổng hợp kết quả theo tiêu chí, không theo tên người, cho biết lớp học tới nên nhấn vào đâu. Nếu phần lớn người làm bài đều trượt cùng một tiêu chí, có thể lỗi nằm ở khoá học hoặc ở đề, chứ không phải ở người học.
Những điều cần tránh để bài đánh giá công bằng
Bài đánh giá năng lực có ảnh hưởng đến cơ hội của nhân viên, nên cần được làm cẩn thận. Danh sách dưới gom những lỗi hay gặp ở công ty lần đầu tổ chức.
- Dùng dữ liệu thật của khách hàng hoặc nhân viên, dù đã che một phần. Luôn dựng dữ liệu giả định.
- Đề đòi một công cụ cụ thể mà chỉ vài người được cấp tài khoản, khiến người khác thiệt thòi.
- Giới hạn thời gian quá chặt, biến bài đánh giá thành bài kiểm tra tốc độ gõ thay vì năng lực.
- Công bố kết quả theo bảng xếp hạng, tạo áp lực và khiến người yếu né không dám làm bài lần sau.
- Không cho làm lại. Người chưa đạt nên được nhận nhận xét cụ thể và làm lại sau một khoảng thời gian luyện tập.
- Theo dõi lén màn hình hoặc lịch sử dùng AI hằng ngày của nhân viên để đánh giá. Đánh giá phải dựa trên bài làm được thông báo trước.
- Gắn kết quả trực tiếp với kỷ luật hay cắt giảm, khiến bài đánh giá biến thành mối đe doạ thay vì công cụ phát triển.
Khi thông báo bài đánh giá, nói rõ mục đích, tiêu chí, ai xem kết quả và kết quả dùng vào việc gì. Nếu công ty chưa có quy chế dùng AI, nên ban hành trước để nhân viên biết mình được làm gì trong bài.
Ví dụ giả định một đề hoàn chỉnh cho vị trí chăm sóc khách hàng
Ví dụ giả định, đề xác nhận cấp 2 cho nhân viên chăm sóc khách hàng ở một công ty bán thiết bị gia dụng. Bối cảnh: khách nhắn phàn nàn đơn hàng giao trễ năm ngày, sản phẩm bị móp góc, đòi hoàn tiền toàn bộ và dọa đăng lên mạng. Tài liệu kèm: chính sách đổi trả giả định một trang, lịch sử đơn hàng giả định, ghi chú của nhân viên kho viết tắt. Thời gian sáu mươi phút, được dùng trợ lý AI công ty đã duyệt.
Ba chỗ khó được cài: tin nhắn của khách có số điện thoại và địa chỉ giả, xem người làm có che trước khi dán vào AI không; ghi chú kho ghi ngày xuất hàng khác với lịch sử đơn, xem có phát hiện mâu thuẫn không; chính sách chỉ cho đổi hàng hoặc hoàn tiền một phần với hàng móp nhẹ, xem bản trả lời có hứa vượt chính sách không. Sản phẩm nộp gồm tin nhắn trả lời khách, một ghi chú nội bộ gửi trưởng ca, và vài dòng về những gì đã kiểm.
Một bài đạt sẽ che thông tin khách, xin lỗi đúng mức, đưa ra phương án đúng chính sách, ghi chú cho trưởng ca về mâu thuẫn ngày xuất hàng. Một bài vững còn đề xuất cập nhật câu lệnh nền để AI không tự hứa hoàn tiền toàn bộ, và gợi ý trưởng ca gọi điện cho khách vì có dấu hiệu khủng hoảng trên mạng. Người chưa đạt nhận nhận xét cụ thể, luyện thêm hai tuần với đại sứ AI rồi làm một phiên bản đề khác.
Câu hỏi thường gặp
Bài đánh giá năng lực AI nên kéo dài bao lâu?
Phần làm bài khoảng 45 đến 90 phút tuỳ độ phức tạp của việc, cộng khoảng mười lăm phút hỏi lại. Dài hơn thì mệt và khó sắp xếp lịch, ngắn hơn thì khó cài đủ chỗ khó để phân biệt các mức năng lực.
Có nên cho người làm bài dùng bất kỳ công cụ AI nào họ thích không?
Nên giới hạn ở công cụ công ty đã duyệt, vì đó là công cụ họ sẽ dùng trong việc thật và là điều kiện bảo mật. Nếu công ty chưa duyệt công cụ nào, nên giải quyết việc đó trước khi tổ chức đánh giá.
Bài làm thật có dùng được để tuyển dụng không?
Có, ở dạng rút gọn khoảng ba mươi phút với dữ liệu giả định và công cụ được cung cấp. Cần thông báo trước cho ứng viên, không giữ sản phẩm của họ để dùng vào việc thật, và chấm theo cùng tiêu chí cho mọi ứng viên.
Người chưa đạt thì xử lý thế nào?
Đưa nhận xét cụ thể theo từng tiêu chí, gợi ý bài luyện tập, ghép với người kèm cặp, và cho làm lại sau khoảng hai đến bốn tuần với phiên bản đề khác. Mục đích là giúp người đó lên cấp, không phải loại họ ra.
Một công ty nhỏ không có ai đủ trình độ chấm thì sao?
Có thể bắt đầu với trưởng phòng chấm theo tiêu chí viết sẵn, vì tiêu chí hành vi không đòi hỏi chuyên môn kỹ thuật sâu. Khi cần, có thể mời một người ngoài có kinh nghiệm làm người chấm thứ hai cho vài đợt đầu.
Kết quả bài đánh giá có nên lưu vào hồ sơ nhân viên không?
Có thể lưu mức đạt theo từng tiêu chí và cấp độ được xác nhận, cùng nhận xét. Sản phẩm bài làm chỉ nên giữ trong thời gian cần thiết để rà soát hoặc khiếu nại. Quy định lưu trữ nên ghi rõ trong thông báo trước khi đánh giá.