Sai lầm phổ biến nhất khi đo hiệu quả đào tạo AI là đo thứ dễ đếm thay cho thứ cần biết: số người hoàn thành khoá, điểm hài lòng, số tài khoản được cấp, trong khi câu hỏi thật là người học có làm được việc với AI không và có dùng trong công việc không. Tiếp theo là không đo trước khoá nên không có mốc so, đo quá sớm, quy hết cải thiện cho khoá học, và biến chỉ số thành chỉ tiêu khiến mọi người dùng AI cho có.
Bài này gom mười hai cái bẫy thành bốn nhóm: đo sai thứ, đo sai lúc, đọc sai số, và làm hỏng lòng tin của người học. Mỗi cái bẫy có dấu hiệu nhận ra và cách sửa, cuối bài là danh sách tự kiểm trước khi bắt đầu và cách cứu số liệu khi đã lỡ mắc.
Nhóm 1: đo sai thứ
Bẫy 1 — đếm người hoàn thành và giờ học. Mười sáu trên mười sáu người hoàn thành tám buổi chỉ cho biết lớp học được tổ chức đúng lịch. Nó không nói người học làm được gì. Con số này nên nằm trong phần mô tả khoá học, không bao giờ nằm ở phần kết quả.
Bẫy 2 — lấy điểm hài lòng làm điểm hiệu quả. Người học thích một khoá AI vì người dạy vui, ví dụ hay, buổi học có trình diễn ấn tượng. Những điều đó đáng có nhưng không đảm bảo người học về làm được. Có khoá học được chấm hài lòng rất cao mà ba tháng sau gần như không ai dùng, và ngược lại.
Bẫy 3 — đếm tài khoản và lượt đăng nhập. Công ty mua công cụ AI cho cả phòng rồi báo cáo "hai mươi tài khoản đang hoạt động". Đăng nhập một lần mỗi tháng cũng là "hoạt động". Số lượt dùng do công cụ ghi lại có thể làm số liệu phụ nếu minh bạch với người học, nhưng không thay được câu hỏi dùng cho việc gì và kết quả ra sao.
Bẫy 4 — kiểm tra thuật ngữ thay cho kiểm tra kỹ năng. Bài trắc nghiệm hỏi "mô hình ngôn ngữ lớn là gì", "ảo giác của AI là gì" dễ chấm nhưng đo sai thứ. Người trả lời đúng hết vẫn có thể dán nguyên danh sách khách hàng vào công cụ và gửi đi một email có hạn giao hàng do AI bịa. Kỹ năng AI phải đo bằng bài làm thật trên việc thật, với tiêu chí chấm cụ thể.
Nhóm 2: đo sai lúc
Bẫy 5 — không đo trước khoá. Đây là lỗi khó sửa nhất vì không quay ngược thời gian được. Không có bài thực hành đầu khoá thì cuối khoá thấy chín trên mười người đạt tiêu chí che dữ liệu cũng không biết đó là nhờ khoá học hay họ vốn đã biết. Buổi đầu tiên dành hai mươi phút cho bài thực hành không bao giờ là phí.
Bẫy 6 — đo ngay buổi cuối rồi kết luận. Buổi cuối khoá là lúc kỹ năng cao nhất và động lực mạnh nhất. Ba tuần sau, khi việc gấp dồn lại, nhiều người quay về cách làm cũ. Kết quả buổi cuối chỉ trả lời "học xong có làm được không"; câu "có dùng thật không" phải chờ các mốc 30, 60, 90 ngày.
Bẫy 7 — đo một lần rồi thôi, hoặc đo vào mùa đặc biệt. Một lần đo ở mốc 30 ngày rơi đúng tháng cao điểm cuối năm sẽ cho thấy mức dùng rất thấp, không phải vì khoá học kém mà vì không ai có thời gian thử cách làm mới. Ngược lại, đo nhật ký việc mốc vào tháng vắng đơn thì thời gian làm việc giảm vì việc ít đi. Ghi chú bối cảnh của từng mốc đo bên cạnh số liệu, và nếu được thì đo nhiều mốc để thấy xu hướng thay vì một điểm.
Cách gọn để tránh cả ba bẫy là lập lịch đo ngay khi lập kế hoạch khoá học, đưa vào cùng một văn bản: ngày làm bài thực hành đầu khoá, ngày làm bài cuối khoá, ba ngày hỏi lại, ai phụ trách mỗi mốc. Lịch đo viết sau khi khoá học đã chạy thường thiếu đúng mốc quan trọng nhất là mốc đầu.
Nhóm 3: đọc sai số
Bẫy 8 — quy hết cải thiện cho khoá học. Cùng quý đó công ty đổi phần mềm bán hàng, có thêm một nhân viên giỏi, hoặc viết lại mẫu báo giá. Thời gian soạn báo giá giảm có thể do bất kỳ điều nào trong số đó. Ghi lại những thay đổi lớn trong thời gian đo; khi viết kết luận, nói rõ yếu tố nào cũng có thể góp phần. Nếu có nhóm chưa học làm cùng việc, so thêm với nhóm đó giúp tách bạch hơn, dù không hoàn hảo.
Bẫy 9 — chỉ tính người còn ở lại. Đến mốc 90 ngày, hai người nghỉ việc, một người chuyển phòng. Nếu chỉ tính người còn lại, tỉ lệ dùng trông cao hơn thực tế, nhất là khi người rời đi lại chính là người không dùng. Luôn ghi rõ mẫu số: "9 trên 13 người còn làm việc ở công ty, lớp ban đầu 16 người".
Bẫy 10 — trung bình che mất sự phân hoá. Điểm trung bình cả lớp tăng vừa phải có thể là tất cả cùng tăng một chút, hoặc nửa lớp tăng mạnh còn nửa kia đứng yên. Hai tình huống này cần hai cách xử lý khác hẳn. Đọc theo từng tiêu chí và theo từng nhóm vai trò trước khi nhìn con số chung.
Bẫy 11 — ngoại suy từ mẫu nhỏ. Ba người ghi nhật ký thấy soạn email nhanh hơn, rồi nhân lên cho cả công ty, cả năm, nhân lương giờ, ra một con số tiết kiệm rất lớn. Phép tính này gần như luôn thổi phồng, vì thời gian tiết kiệm được không tự biến thành tiền và người tự nguyện ghi nhật ký thường là người hào hứng nhất. Mẫu nhỏ thì viết bằng lời, nêu giới hạn ngay cạnh con số.
Nhóm 4: làm hỏng lòng tin của người học
Bẫy 12 — biến chỉ số thành chỉ tiêu, và biến việc đo thành giám sát. Đây là cái bẫy gây hại lâu dài nhất, vì nó không chỉ làm hỏng số liệu đợt này mà làm hỏng mọi lần đo sau. Nó có ba dạng hay gặp.
Dạng thứ nhất là giao chỉ tiêu "mỗi người dùng AI ít nhất hai mươi lần một tuần". Ngay khi số lần dùng thành chỉ tiêu, người ta sẽ dùng AI cho có, hỏi những câu không cần hỏi để đủ số. Hiện tượng này thường được gọi theo tên nhà kinh tế Charles Goodhart, với cách nói phổ biến: khi một thước đo trở thành mục tiêu, nó không còn là thước đo tốt. Số lần dùng nên là thứ để hiểu, không phải thứ để giao.
Dạng thứ hai là đọc lịch sử trò chuyện của nhân viên với công cụ AI để "xem họ học được gì", hoặc theo dõi lượt dùng từng người mà không báo trước. Kể cả khi công cụ của công ty cho phép quản trị viên xem, làm vậy mà không minh bạch sẽ khiến người học chuyển sang dùng công cụ cá nhân ngoài tầm kiểm soát, đúng điều công ty muốn tránh nhất về dữ liệu. Nếu cần số liệu từ công cụ, báo trước công ty xem gì, ở mức nào, để làm gì, và chỉ dùng số liệu tổng hợp theo nhóm. Quy định về dữ liệu cá nhân của người lao động cần được kiểm theo văn bản hiện hành.
Dạng thứ ba là xếp hạng người học công khai hoặc đưa kết quả bài thực hành vào đánh giá thưởng ngay đợt đầu. Người học sẽ né bài thực hành, giấu chỗ chưa biết, và trả lời khảo sát theo hướng an toàn. Khi chưa có lòng tin, kết quả đo cho lãnh đạo nên dừng ở mức nhóm, còn từng người nhận phản hồi riêng về chỗ cần luyện thêm.
Bảng tra nhanh: dấu hiệu, cái bẫy, cách sửa
Dùng bảng này khi đọc lại một báo cáo đào tạo AI đã có, của mình hoặc của đơn vị bên ngoài gửi tới:
| Dấu hiệu trong báo cáo | Có thể đang dính | Cách sửa |
|---|---|---|
| Phần kết quả chỉ có tỉ lệ hoàn thành và điểm hài lòng | Bẫy 1, 2 | Thêm kết quả bài thực hành theo tiêu chí và mức dùng ở mốc 90 ngày |
| Chỉ có kết quả cuối khoá, không có đầu khoá | Bẫy 5 | Lớp sau làm bài đầu khoá; lớp này ghi rõ là không có mốc so |
| Kết luận đưa ra chỉ một hai tuần sau buổi cuối | Bẫy 6 | Giữ kết luận ở mức "làm được", chờ mốc 30–90 ngày cho phần "dùng thật" |
| Không nhắc thay đổi nào khác trong công ty cùng thời gian | Bẫy 8 | Liệt kê thay đổi lớn, viết lại kết luận thận trọng hơn |
| Tỉ lệ dùng không ghi mẫu số, hoặc mẫu số tự nhiên nhỏ đi | Bẫy 9 | Ghi lớp ban đầu bao nhiêu người, còn lại bao nhiêu |
| Con số tiết kiệm tính cho cả năm từ vài người | Bẫy 11 | Bỏ phép ngoại suy, viết bằng lời kèm giới hạn |
| Có chỉ tiêu số lần dùng mỗi người hoặc bảng xếp hạng | Bẫy 12 | Bỏ chỉ tiêu, báo cáo theo nhóm, nói rõ với người học cách dùng số liệu |
Một báo cáo dính một hai dấu hiệu không có nghĩa là khoá học kém, chỉ có nghĩa là chưa đủ cơ sở để kết luận. Khi nhận báo cáo từ đơn vị đào tạo bên ngoài, dùng chính bảng này để đặt câu hỏi lại.
Tự kiểm kế hoạch đo trước khi khoá học bắt đầu
Trả lời tám câu sau. Câu nào trả lời "chưa" thì sửa kế hoạch trước buổi học đầu tiên, vì sửa sau thường không kịp:
- Mục tiêu khoá học đã viết thành việc người học làm được chưa, ví dụ "tự soạn email trả lời khiếu nại có che dữ liệu khách", chứ không phải "nâng cao nhận thức về AI"?
- Đã có bài thực hành đầu khoá bám việc thật, dùng dữ liệu giả, với tiêu chí chấm Đạt hoặc Chưa chưa?
- Đã có đề cuối khoá tương đương, đổi tình huống nhưng giữ tiêu chí chưa?
- Ba mốc hỏi lại 30, 60, 90 ngày đã có ngày cụ thể và người phụ trách chưa?
- Đã chọn việc mốc để ghi nhật ký, và đã có người tự nguyện ghi chưa?
- Đã viết sẵn một đoạn ngắn nói với người học: đo để làm gì, ai xem, có gắn với lương thưởng không?
- Đã ghi lại những thay đổi khác trong công ty dự kiến xảy ra cùng thời gian chưa?
- Đã biết sẽ báo cáo ai, vào lúc nào, và họ cần ra quyết định gì từ báo cáo đó chưa?
Tám câu này không đòi hỏi công cụ nào ngoài một văn bản và một bảng tính. Phần lớn sai lầm trong bài này bắt nguồn từ việc bắt đầu đo khi khoá học đã chạy được nửa chừng.
Đã lỡ mắc rồi thì cứu số liệu thế nào
Không có bài thực hành đầu khoá: không thể tạo lại mốc thật, nhưng vẫn còn hai cách. Một là so kết quả cuối khoá với một nhóm chưa học làm cùng đề, nếu công ty có nhóm như vậy. Hai là hỏi người học đầu khoá họ đã làm việc đó thế nào, với ghi chú rõ đây là hồi tưởng, độ tin cậy thấp. Quan trọng nhất là lớp sau làm bài đầu khoá ngay buổi đầu.
Đã giao chỉ tiêu số lần dùng: bỏ chỉ tiêu, nói thẳng với người học là công ty đổi cách đo vì cách cũ không phản ánh đúng. Số liệu số lần dùng trong thời gian có chỉ tiêu nên được đánh dấu và không dùng để so sánh.
Đã đọc lịch sử trò chuyện mà không báo trước: dừng ngay, thông báo minh bạch với người học về những gì đã xem và cam kết cách làm từ nay. Mất lòng tin một lần thì phải mất vài đợt đo mới lấy lại, nhưng giấu đi thì không bao giờ lấy lại được. Nếu không chắc về nghĩa vụ pháp lý liên quan dữ liệu cá nhân của người lao động, hỏi luật sư, ví dụ qua AI Cố Vấn, thay vì tự đoán.
Đã gửi lãnh đạo một con số tiết kiệm thổi phồng: gửi bản cập nhật, giải thích vì sao con số cũ không đáng tin và đưa ra cách đo đúng hơn cho đợt sau. Lãnh đạo thường chấp nhận một lần đính chính tốt hơn nhiều so với phát hiện ra con số sai vào lúc lập ngân sách năm sau. Muốn nhìn lợi ích và chi phí của cả dự án AI một cách bài bản, AI Kết Quả có hướng dẫn riêng về cách làm.
Câu hỏi thường gặp
Điểm hài lòng của học viên có còn đáng thu không?
Có, nhưng chỉ để cải thiện cách dạy: ví dụ có bám việc không, tốc độ có hợp không, buổi nào khó theo. Đừng dùng nó làm bằng chứng khoá học hiệu quả. Hỏi ba câu ngắn cuối buổi là đủ.
Dùng số liệu từ công cụ AI của công ty có bị coi là giám sát không?
Phụ thuộc cách làm. Báo trước với người học công ty xem số liệu gì, ở mức tổng hợp theo nhóm, để làm gì, thì đó là số liệu phụ hợp lý. Đọc nội dung trò chuyện hoặc theo dõi từng người mà không báo trước thì làm mất lòng tin và cần kiểm quy định hiện hành về dữ liệu người lao động.
Lớp chỉ có tám người thì có cần nhóm so sánh không?
Không bắt buộc. Với lớp nhỏ, bài thực hành đầu và cuối khoá cùng các mốc dùng đã đủ cho quyết định nội bộ. Nhóm so sánh hữu ích khi có thay đổi lớn khác xảy ra cùng lúc và cần tách xem khoá học góp phần bao nhiêu.
Có nên đặt mục tiêu dạng "80% học viên dùng AI hằng tuần" không?
Đặt làm mục tiêu cho chương trình đào tạo thì được, miễn là không biến thành chỉ tiêu giao cho từng người. Khi chỉ tiêu rơi xuống cá nhân, người học sẽ dùng cho đủ số và con số mất ý nghĩa.
Đơn vị đào tạo bên ngoài báo cáo toàn số đẹp thì nên hỏi gì?
Hỏi bài thực hành đầu khoá ở đâu, tiêu chí chấm là gì, mức dùng sau khoá đo thế nào và ai đo, lớp ban đầu bao nhiêu người. Câu trả lời mơ hồ cho mấy câu này là dấu hiệu báo cáo đang dính các bẫy ở nhóm 1 và nhóm 2.
Sai lầm nào nên sửa đầu tiên nếu chỉ sửa được một?
Thêm bài thực hành đầu khoá. Nó tốn ít công nhất, không làm ai khó chịu, và là thứ duy nhất không thể bù lại sau khi khoá học đã bắt đầu. Có mốc đầu rồi thì các sai lầm khác đều sửa dần được.