Bài kiểm tra thực hành đầu và cuối khoá AI là cùng một dạng việc thật, ví dụ soạn trả lời khiếu nại hay tóm tắt biên bản họp, cho người học làm cùng AI trong 30 đến 45 phút ở buổi đầu và buổi cuối, với dữ liệu khác nhau nhưng độ khó tương đương, rồi chấm sản phẩm theo một danh sách tiêu chí viết sẵn. Chênh lệch giữa hai lần là bằng chứng rõ nhất cho thấy khoá học dạy được kỹ năng.
Bài này hướng dẫn chọn việc làm đề, soạn hai bộ dữ liệu mẫu tương đương, viết tiêu chí chấm theo sản phẩm thay vì theo cảm giác, tổ chức buổi kiểm tra không gây căng thẳng và đọc kết quả để chỉnh khoá học. Mọi dữ liệu trong ví dụ đều là dữ liệu giả định.
Vì sao trắc nghiệm kiến thức không đo được kỹ năng AI
Nhiều khoá học AI kết thúc bằng mười câu trắc nghiệm: mô hình ngôn ngữ là gì, "ảo giác" là gì, nên hay không nên đưa dữ liệu khách hàng vào công cụ miễn phí. Người học trả lời đúng gần hết, nhưng ra khỏi lớp vẫn viết câu lệnh một dòng, nhận kết quả rồi gửi đi không kiểm. Trắc nghiệm đo được người học có nhớ khái niệm không; nó không đo được người học có làm đúng không khi đang vội.
Kỹ năng AI ở chỗ làm là một chuỗi hành động: đọc đề việc, quyết định có dùng AI không, che dữ liệu nhạy cảm, viết yêu cầu có bối cảnh, đọc kết quả, phát hiện chỗ sai, sửa, rồi chịu trách nhiệm với sản phẩm cuối. Chỉ có bài làm thật mới cho thấy chuỗi đó có diễn ra hay không. Đây là lý do bài kiểm tra thực hành chấm sản phẩm cuối và vài dấu vết của quá trình, chứ không chấm câu lệnh đẹp hay xấu.
Một lợi ích ít người để ý: bài kiểm tra đầu khoá giúp người dạy biết lớp đang đứng đâu. Có lớp nhân viên trẻ đã dùng AI hằng ngày nhưng không có thói quen kiểm số liệu; có lớp kế toán lâu năm kiểm rất kỹ nhưng chưa từng giao việc cho AI. Cùng một giáo án dạy cho hai lớp đó sẽ phí thời gian của cả hai.
Chọn việc làm đề: bốn điều kiện
Là việc người học làm thật hằng tuần. Đề cho kế toán nên là đối chiếu và giải thích chênh lệch trên bảng công nợ mẫu; đề cho chăm sóc khách hàng là trả lời ba khiếu nại khác giọng. Đề chung chung kiểu "viết bài giới thiệu công ty" làm người học diễn chứ không làm.
Có chỗ để AI sai. Đề tốt cài sẵn một hai bẫy mà người kiểm kỹ sẽ thấy: một con số tổng không khớp, một yêu cầu của khách mâu thuẫn với chính sách, một tên người viết sai trong tài liệu gốc. Người dùng AI thụ động sẽ để lọt bẫy vào sản phẩm.
Có dữ liệu nhạy cảm cần che. Đặt trong dữ liệu mẫu vài thông tin như họ tên, số điện thoại dạng giả, số hợp đồng. Không cần nhắc người học phải che; xem họ có tự che không. Đây là tiêu chí phản xạ, quan trọng ngang với chất lượng sản phẩm.
Làm xong trong 30 đến 45 phút. Đề dài hơn làm buổi kiểm tra thành gánh nặng và kết quả bị nhiễu bởi mệt mỏi. Nếu muốn đo nhiều kỹ năng, chia thành hai đề ngắn thay vì một đề dài.
Ví dụ danh sách tiêu chí chấm cho đề trả lời khiếu nại
Ví dụ giả định: đề yêu cầu soạn trả lời cho ba khiếu nại về giao hàng chậm của một cửa hàng đồ gia dụng trực tuyến, kèm trích đoạn chính sách đổi trả. Mỗi tiêu chí chấm đạt hoặc chưa đạt, không chấm thang mười.
| Nhóm | Tiêu chí | Đạt khi |
|---|---|---|
| Đúng | Thông tin khớp chính sách | Không hứa điều chính sách không có (ví dụ hoàn tiền ngay khi chính sách cần trả hàng trước) |
| Đúng | Không có chi tiết bịa | Không xuất hiện mã đơn, ngày giao, tên nhân viên không có trong dữ liệu |
| Đúng | Phát hiện bẫy | Nhận ra khiếu nại số 2 yêu cầu điều trái chính sách và trả lời khéo |
| Dùng được | Giọng phù hợp | Lịch sự, không đổ lỗi khách, không văn mẫu quá dài |
| Dùng được | Có hướng xử lý | Mỗi thư nêu bước tiếp theo cụ thể cho khách |
| An toàn | Che dữ liệu | Họ tên, số điện thoại trong dữ liệu mẫu được thay bằng mã trước khi đưa vào AI |
| Quy trình | Có kiểm lại | Người học sửa ít nhất một chỗ sau bản đầu của AI, hoặc ghi chú vì sao giữ nguyên |
Bảy tiêu chí là vừa. Quá mười tiêu chí thì người chấm mỏi và bắt đầu chấm theo cảm giác. Tiêu chí viết bằng hành vi nhìn thấy được trên sản phẩm, tránh các từ như "tốt", "hay", "chuyên nghiệp" vì mỗi người hiểu một kiểu.
Soạn hai bộ đề tương đương cho đầu khoá và cuối khoá
Nếu dùng nguyên đề đầu khoá cho cuối khoá, người học nhớ đáp án và kết quả đẹp giả. Nếu đề cuối khoá dễ hơn, chênh lệch cũng giả. Cách giữ hai đề tương đương:
- Giữ nguyên cấu trúc đề: cùng số khiếu nại, cùng độ dài trích đoạn chính sách, cùng số bẫy và cùng loại dữ liệu cần che.
- Đổi bối cảnh bề mặt: ngành hàng khác (đồ gia dụng sang mỹ phẩm), tên giả khác, con số khác, nhưng mức phức tạp như nhau.
- Đặt bẫy ở vị trí khác: bẫy ở khiếu nại số 2 trong đề đầu thì chuyển sang số 3 ở đề cuối.
- Cho hai người không dạy lớp đó làm thử cả hai đề, ghi thời gian và số tiêu chí đạt. Nếu chênh nhau rõ, chỉnh đề khó hơn cho dễ bớt hoặc ngược lại.
- Lưu cả hai bộ đề cùng bảng tiêu chí vào thư mục chung của chương trình để lớp sau dùng lại, đổi chéo thứ tự đề giữa các lớp.
Với người học ở các vai trò khác nhau trong cùng một lớp, soạn hai hoặc ba biến thể đề theo vai trò nhưng chung bảng tiêu chí ở nhóm "An toàn" và "Quy trình". Phần "Đúng" và "Dùng được" thì viết riêng cho từng vai trò.
Ba đề mẫu theo vai trò để tham khảo
Ba khung đề dưới đây là ví dụ giả định, dữ liệu do người dạy tự đặt. Mỗi đề đều có việc chính, một bẫy cài sẵn và thông tin nhạy cảm cần che, theo đúng bốn điều kiện ở trên.
- Kế toán: cho bảng công nợ phải thu 25 dòng của một công ty phân phối vật tư giả định và bảng sao kê ngân hàng tương ứng; yêu cầu dùng AI tìm các khoản chưa khớp và soạn email nhắc nợ cho hai khách hàng. Bẫy: một khoản thanh toán ghi sai mã khách, nếu không đối chiếu sẽ nhắc nợ nhầm người đã trả. Dữ liệu cần che: tên công ty khách, số tài khoản.
- Bán hàng: cho ghi chú cuộc gọi lộn xộn với một khách hàng quan tâm đến máy lọc nước cho văn phòng, cùng bảng thông số ba mẫu sản phẩm; yêu cầu soạn email tóm tắt nhu cầu khách và đề xuất mẫu phù hợp. Bẫy: ghi chú có một yêu cầu về công suất mà không mẫu nào đáp ứng, người làm tốt phải nói thẳng thay vì để AI chọn đại. Dữ liệu cần che: tên người liên hệ, số điện thoại.
- Hành chính văn phòng: cho bản ghi âm đã chuyển thành chữ của cuộc họp giao ban 40 phút; yêu cầu soạn biên bản một trang có danh sách việc, người phụ trách và hạn. Bẫy: có một việc được giao rồi bị huỷ ở cuối buổi họp, biên bản đúng không được ghi việc đó. Dữ liệu cần che: tên đối tác được nhắc trong cuộc họp.
Đề cho trưởng phòng và chủ doanh nghiệp nên là việc ra quyết định có chứng cứ, ví dụ dùng AI tổng hợp ba báo giá nhà cung cấp và viết một đoạn đề xuất có nêu rủi ro. Tiêu chí quan trọng nhất ở đề này là đề xuất có chỉ rõ chỗ nào AI tổng hợp và chỗ nào người viết tự đánh giá hay không.
Tổ chức buổi kiểm tra để người học không căng thẳng
Người đi làm, nhất là người lớn tuổi hoặc người chưa từng dùng AI, rất dễ thấy bài kiểm tra đầu khoá như một phép thử năng lực trước mặt đồng nghiệp. Cảm giác đó làm họ làm kém hơn thật, và làm số liệu đầu khoá thấp giả, khiến chênh lệch cuối khoá trông đẹp hơn sự thật. Mấy cách làm giảm căng thẳng mà vẫn giữ số liệu sạch:
Gọi tên buổi đó là "bài làm khởi động" thay vì "bài kiểm tra", và nói rõ mục đích: để người dạy biết nên dạy kỹ phần nào. Cam kết bằng lời ngay đầu buổi rằng kết quả không gửi cho trưởng phòng ở mức cá nhân và không đi vào đánh giá công việc. Cho phép dùng bất kỳ công cụ AI nào công ty đã duyệt, cho phép tra cứu, chỉ không được hỏi nhau. Ghi chú thời gian bắt đầu và kết thúc nhưng không đặt đồng hồ đếm ngược trên màn chiếu.
Sau buổi đầu, trả lại cho từng người bảng tiêu chí của chính họ, đánh dấu tiêu chí đạt và chưa đạt, không có tổng điểm. Người học thường bất ngờ nhất ở tiêu chí che dữ liệu, và chính sự bất ngờ đó làm buổi học về dữ liệu nhạy cảm sau này được nghe chăm chú hơn.
Ở buổi cuối, tổ chức y hệt về thời lượng và luật chơi. Nếu buổi cuối cho thêm thời gian hay cho phép hỏi nhau, kết quả không còn so được với buổi đầu.
Đọc kết quả hai lần kiểm tra
Đừng tính điểm trung bình của lớp rồi báo "tăng từ 4 lên 6". Hãy đọc theo từng tiêu chí, ở mức cả lớp: tiêu chí nào từ ít người đạt chuyển sang nhiều người đạt, tiêu chí nào gần như không đổi. Ví dụ giả định ở lớp 16 người: tiêu chí "Che dữ liệu" từ 3 người đạt lên 14 người; "Không có chi tiết bịa" từ 7 lên 12; "Phát hiện bẫy" từ 5 lên 6.
Bảng như vậy nói rất nhiều. Phần che dữ liệu khoá học dạy tốt, có lẽ vì có hẳn một buổi và bài luyện phản xạ. Phần phát hiện bẫy gần như không đổi, nghĩa là khoá học chưa luyện đủ kỹ năng đọc soát với tài liệu gốc. Lớp sau cần thêm bài tập đối chiếu, chứ không cần thêm bài giảng về "AI có thể sai".
Cũng nên nhìn những người không cải thiện hoặc tụt. Một hai người tụt thường do hoàn cảnh buổi cuối (bận việc gấp, máy lỗi). Nếu một nhóm vai trò cùng tụt, ví dụ cả nhóm kho vận, rất có thể ví dụ trong khoá không sát việc của họ. Thông tin này đi vào phần chỉnh khoá học, không đi vào hồ sơ cá nhân.
Cuối cùng, giữ lại vài sản phẩm cuối khoá tiêu biểu (đã được người học đồng ý và đã che dữ liệu) làm mẫu cho lớp sau. Một email khiếu nại trước và sau khoá, đặt cạnh nhau, thuyết phục lãnh đạo nhanh hơn mọi bảng số.
Câu hỏi thường gặp
Bài kiểm tra thực hành có nên cho dùng công cụ AI khác nhau không?
Nên cho dùng bất kỳ công cụ nào công ty đã duyệt, vì thứ cần đo là kỹ năng giao việc, kiểm và sửa kết quả chứ không phải thao tác trên một phần mềm. Chỉ cần ghi lại người học dùng công cụ nào để đọc kết quả cho đúng.
Nếu cả lớp đã đạt gần hết tiêu chí ngay từ đầu khoá thì sao?
Đó là tín hiệu khoá học quá dễ với lớp này. Nên chuyển họ sang nấc cao hơn, ví dụ tự động hoá việc lặp hoặc xây thư viện câu lệnh cho nhóm, thay vì tiếp tục giáo án cơ bản. Kết quả đầu khoá chính là để phát hiện việc này.
Có thể dùng AI để chấm bài kiểm tra thực hành không?
Có thể dùng AI để soát nhanh theo danh sách tiêu chí, nhưng người dạy phải kiểm lại từng bài, nhất là các tiêu chí về chi tiết bịa và phát hiện bẫy, vì AI dễ bỏ sót đúng những lỗi nó hay mắc. Quyết định đạt hay chưa đạt vẫn do người.
Có nên công bố kết quả cho cả lớp xem không?
Chỉ công bố ở mức cả lớp theo từng tiêu chí, ví dụ bao nhiêu người đạt tiêu chí che dữ liệu. Không công bố kết quả cá nhân hay bảng xếp hạng. Mỗi người nhận lại bảng tiêu chí của riêng mình để biết cần luyện thêm phần nào.
Bao lâu thì nên làm mới bộ đề?
Sau khoảng ba đến bốn lớp, hoặc khi nghe được người học lớp trước kể đề cho lớp sau. Giữ nguyên cấu trúc và bảng tiêu chí, chỉ đổi bối cảnh và dữ liệu, để kết quả giữa các lớp vẫn so sánh được với nhau.
Người học bỏ buổi kiểm tra đầu khoá thì xử lý thế nào?
Cho họ làm bài khởi động trước buổi hai, ở điều kiện tương tự. Nếu không kịp, vẫn cho học bình thường nhưng không tính họ vào phần so sánh đầu và cuối khoá, để số liệu của lớp không bị lệch.