Đo hiệu quả một khoá học AI là trả lời lần lượt bốn câu hỏi: người học có thích và thấy hợp không, họ có làm được việc với AI ngay cuối khoá không, sau 30 đến 90 ngày họ có còn dùng trong việc thật không, và việc của nhóm có nhanh hơn hoặc đúng hơn không. Câu sau khó đo hơn câu trước nhưng đáng giá hơn. Một khoá học chỉ có phiếu khảo sát hài lòng thì mới trả lời được câu đầu, mà câu đầu lại ít nói lên điều gì nhất.
Bài này đưa ra khung bốn câu hỏi, công cụ đo cho từng câu, lịch đo thực tế cho doanh nghiệp từ mười đến hai trăm người, và những ranh giới cần giữ để việc đo không biến thành giám sát nhân viên. Phần tính lợi ích và chi phí của cả dự án AI thuộc về AI Kết Quả; ở đây chỉ bàn đến hiệu quả của việc học.
Vì sao khoá học AI cần đo khác các khoá kỹ năng mềm
Phần lớn khoá đào tạo trong doanh nghiệp vừa và nhỏ được đánh giá bằng một tờ phiếu cuối buổi: giảng viên dễ hiểu không, phòng học thoải mái không, nội dung có hữu ích không. Với khoá kỹ năng giao tiếp, cách đó đã thiếu; với khoá AI thì thiếu hẳn. Lý do nằm ở bản chất kỹ năng AI: nó là kỹ năng thao tác trên công việc thật, có sản phẩm cụ thể để nhìn vào. Một email khiếu nại được soạn lại, một bảng so sánh báo giá, một bản tóm tắt biên bản họp đều là bằng chứng có thể đặt lên bàn và chấm theo tiêu chí. Bỏ qua bằng chứng đó để hỏi cảm nhận là bỏ đi phần dễ đo nhất.
Lý do thứ hai là khoảng cách giữa lớp học và chỗ làm của kỹ năng AI rất dễ đứt. Trong lớp, giảng viên đã chuẩn bị sẵn dữ liệu mẫu sạch, câu lệnh mẫu chạy trơn tru. Về chỗ làm, người học gặp tệp PDF scan mờ, bảng tính có ô gộp, quy định công ty chưa rõ được dùng công cụ nào, và áp lực xong việc trong ngày. Nhiều người dùng AI hăng hái trong hai tuần đầu rồi quay về cách cũ. Nếu chỉ đo cuối khoá, doanh nghiệp không bao giờ thấy được sự tụt dốc này.
Lý do thứ ba: công cụ AI đổi nhanh. Một khoá học tháng này dạy thao tác trên giao diện nào đó, quý sau giao diện đã khác. Đo hiệu quả giúp tách phần kỹ năng bền (giao việc rõ, kiểm kết quả, che dữ liệu) khỏi phần thao tác dễ lỗi thời, để lần sau chương trình dồn thời gian vào đúng chỗ.
Khung bốn câu hỏi và công cụ đo cho từng câu
Khung dưới đây đi theo tinh thần bốn cấp độ của mô hình Kirkpatrick (phản ứng, học được, hành vi, kết quả) do Donald Kirkpatrick đưa ra từ cuối thập niên 1950, nhưng được viết lại cho khoá AI ngắn ở doanh nghiệp nhỏ, nơi không có phòng đào tạo riêng.
| Câu hỏi | Đo cái gì | Công cụ | Khi nào |
|---|---|---|---|
| 1. Người học thấy hợp không? | Mức phù hợp với việc, độ khó, điều muốn học thêm | Phiếu ngắn 5–7 câu, ẩn danh | Cuối mỗi buổi và cuối khoá |
| 2. Làm được không? | Chất lượng sản phẩm làm ra cùng AI trên việc mẫu | Bài kiểm tra thực hành đầu khoá và cuối khoá, chấm theo danh sách tiêu chí | Buổi đầu và buổi cuối |
| 3. Có dùng thật không? | Tần suất và loại việc dùng AI trong công việc | Tự khai ngắn, nhật ký công việc, trao đổi với trưởng nhóm | Sau 30, 60, 90 ngày |
| 4. Việc có tốt hơn không? | Thời gian làm, số lần sửa, lỗi bị trả lại ở vài việc chọn trước | So mốc trước khoá với sau khoá trên cùng loại việc | Sau 60–90 ngày |
Không cần làm đủ cả bốn tầng cho mọi lớp. Lớp thí điểm đầu tiên nên làm đủ để biết khoá học có ra kết quả không; các lớp nhân rộng sau đó có thể chỉ giữ tầng 2 và tầng 3, vì đó là hai tầng cho biết nhiều nhất với chi phí thấp nhất.
Tầng 2 và tầng 3 là xương sống, không phải phiếu hài lòng
Nếu chỉ có thời gian làm hai việc, hãy làm bài kiểm tra thực hành và đo mức dùng sau 30 ngày. Bài kiểm tra thực hành cho biết khoá học có dạy được kỹ năng không. Một nhân viên chăm sóc khách hàng đầu khoá soạn câu trả lời khiếu nại bằng AI nhưng quên che số đơn hàng, giọng văn cứng, không đề xuất hướng xử lý; cuối khoá làm lại cùng loại đề mà đạt đủ các tiêu chí, đó là bằng chứng học được, rõ ràng hơn mọi điểm hài lòng.
Đo mức dùng sau 30 ngày cho biết kỹ năng có đi vào công việc không. Câu hỏi không phải là "bạn có dùng AI không" mà là "tuần vừa rồi bạn dùng AI cho những việc nào, việc nào thấy được việc, việc nào bỏ". Câu trả lời cụ thể như vậy vừa là số liệu, vừa là tư liệu để chỉnh khoá học.
Phiếu hài lòng vẫn có ích, nhưng ở vai trò phụ: phát hiện buổi học quá nhanh, ví dụ không sát ngành, phòng máy chậm. Đừng dùng con số hài lòng trung bình để báo cáo với lãnh đạo rằng khoá học hiệu quả. Một lớp vui vẻ, giảng viên duyên dáng có thể đạt điểm hài lòng rất cao mà ba tháng sau không ai dùng AI cho việc gì.
Tầng 4, việc có tốt hơn không, là tầng lãnh đạo quan tâm nhất nhưng dễ bị đo sai nhất, vì nhiều thứ khác cũng ảnh hưởng đến kết quả công việc: mùa vụ, nhân sự thay đổi, quy trình mới. Cách an toàn là chọn trước hai hoặc ba việc cụ thể, đo thời gian và số lần sửa ở mốc trước khoá, rồi so lại trên đúng việc đó.
Lịch đo cho một lớp AI tám buổi ở công ty 50 người
Ví dụ giả định dưới đây là một lớp tám buổi, mỗi buổi 90 phút, cho 16 nhân viên văn phòng và kế toán. Lịch đo được lập ngay khi thiết kế khoá học, không phải sau khi khoá học xong.
- Hai tuần trước khoá: mỗi học viên chọn cùng trưởng nhóm hai việc lặp lại hằng tuần sẽ dùng làm mốc (ví dụ soạn email xác nhận đơn, tổng hợp báo cáo tuần), ghi thời gian làm hiện tại trong một tuần.
- Buổi 1: bài kiểm tra thực hành đầu khoá 30 phút trên đề mẫu, chấm theo danh sách tiêu chí; kết quả chỉ dùng để chia nhóm và chỉnh nội dung, không công bố.
- Cuối mỗi buổi: phiếu ba câu: điều dùng được ngay, điều còn mơ hồ, tốc độ buổi học.
- Buổi 8: bài kiểm tra thực hành cuối khoá cùng dạng đề, dữ liệu khác; phiếu cuối khoá năm đến bảy câu.
- Ngày 30: tự khai ngắn qua biểu mẫu nội bộ: việc đã dùng AI, việc đã bỏ, khó khăn gặp phải.
- Ngày 60: ghi lại thời gian làm hai việc mốc trong một tuần; trao đổi 15 phút giữa học viên và trưởng nhóm.
- Ngày 90: tổng hợp, viết báo cáo một trang cho lãnh đạo, quyết định chỉnh khoá học cho lớp sau.
Tổng thời gian đo của mỗi học viên trong ba tháng khoảng hai đến ba giờ, phần lớn rơi vào các buổi học. Người phụ trách đào tạo mất thêm chừng một ngày công để tổng hợp. Lịch đo càng nặng thì người học càng khai cho xong, số liệu càng kém tin.
Ai làm phần việc nào trong việc đo
Người phụ trách đào tạo. Giữ lịch đo, soạn biểu mẫu, tổng hợp số liệu ở các mốc và viết báo cáo một trang. Ở công ty nhỏ, đây thường là người làm nhân sự kiêm nhiệm hoặc chính người khởi xướng chương trình AI. Việc của họ không phải là chấm từng người mà là nhìn ra xu hướng của cả lớp và quyết định chỉnh gì cho lớp sau.
Người dạy. Ra đề và chấm bài kiểm tra thực hành theo danh sách tiêu chí, đọc phiếu cuối buổi để chỉnh nhịp dạy ngay trong khoá. Nếu thuê đơn vị bên ngoài, nên ghi rõ trong thoả thuận rằng họ bàn giao đề, tiêu chí và kết quả tổng hợp, không chỉ bàn giao bộ bài giảng.
Trưởng nhóm của người học. Cùng người học chọn việc làm mốc trước khoá, trao đổi ngắn ở ngày 60, và là người nhìn thấy sản phẩm thật hằng ngày. Trưởng nhóm không được dặn trước thì gần như chắc chắn khoá học sẽ tụt ở tầng 3, vì người học về chỗ làm không ai hỏi han gì đến cách làm mới.
Người học. Làm hai bài kiểm tra, trả lời các lần hỏi lại, ghi thời gian ở việc mốc. Họ cần được biết từ đầu vì sao phải làm các việc này và kết quả được dùng vào đâu.
Lãnh đạo. Không cần tham gia đo, nhưng cần nói trước một câu với cả công ty rằng chương trình đào tạo được đánh giá để cải thiện, không để chấm người. Một câu đó từ người đứng đầu làm số liệu thật hơn rất nhiều.
Ranh giới khi đo: đo việc, không soi người
Không giám sát lén. Không cài phần mềm theo dõi màn hình, không đọc lịch sử trò chuyện của nhân viên với công cụ AI để "xem ai dùng nhiều". Việc đó phá lòng tin nhanh hơn bất kỳ khoá học nào xây được, và có thể vướng quy định về dữ liệu cá nhân. Nếu công ty dùng bản doanh nghiệp có thống kê sử dụng, hãy nói rõ với nhân viên số liệu nào được xem, ở mức nhóm hay cá nhân, dùng vào việc gì.
Không xếp hạng người học công khai. Bảng xếp hạng "ai giỏi AI nhất phòng" làm người chậm ngại hỏi, người nhanh có động cơ khai khống. Kết quả cá nhân chỉ người học và người kèm cặp xem; báo cáo lên trên ở mức nhóm.
Tách đo hiệu quả khoá học khỏi đánh giá nhân viên. Nếu điểm bài kiểm tra thực hành đi vào đánh giá cuối năm, người học sẽ học để qua bài kiểm tra chứ không học để dùng. Nói rõ ngay buổi đầu: bài kiểm tra đo khoá học, không đo con người.
Không quy toàn bộ thay đổi cho khoá học. Việc nhanh hơn có thể do quy trình mới, mùa thấp điểm hoặc đồng nghiệp giúp. Báo cáo trung thực ghi rõ những yếu tố khác đã xảy ra trong kỳ.
Đọc kết quả và quyết định cho lớp sau
Bốn tầng kết quả thường không cùng chiều. Trường hợp hay gặp nhất là tầng 1 và tầng 2 tốt, tầng 3 tụt sau ngày 30. Đó gần như luôn là dấu hiệu của khoảng trống sau khoá: không có giờ hỏi đáp, không có thư viện câu lệnh chung, hoặc quy định công ty chưa cho dùng công cụ trên dữ liệu thật. Sửa ở đây là sửa môi trường, không phải dạy lại.
Trường hợp thứ hai: tầng 2 không cải thiện rõ dù người học hài lòng. Khả năng cao là khoá học nặng trình diễn, ít thực hành trên việc thật; hoặc bài kiểm tra không khớp với nội dung dạy. Lớp sau cần tăng tỉ lệ thời gian tự làm, giảm phần giảng viên làm mẫu.
Trường hợp thứ ba, ít gặp nhưng đáng chú ý: tầng 3 tốt nhưng tầng 4 không đổi. Người học dùng AI đều đặn mà thời gian làm việc mốc không giảm. Hãy xem lại việc được chọn làm mốc: có thể AI giúp ở khâu nháp nhưng khâu duyệt, chờ ký mới là nút thắt. Khi đó vấn đề thuộc về quy trình, và câu chuyện chuyển sang phía triển khai dự án AI.
Ở Vietnam AI Center, lớp thí điểm nào cũng đi kèm lịch đo 90 ngày như trên, vì không đo thì không có cách nào biết lớp sau nên dạy gì khác đi. Doanh nghiệp muốn thử khung đo này trên một lớp nhỏ có thể đăng ký lớp thí điểm ở trang của Vietnam AI Center.
Câu hỏi thường gặp
Có cần dùng đúng mô hình Kirkpatrick để đo khoá học AI không?
Không bắt buộc. Bốn cấp độ của Kirkpatrick là cách chia quen thuộc và dễ giải thích với lãnh đạo, nhưng điều quan trọng là có đo được người học làm được việc và dùng thật trong công việc hay không. Doanh nghiệp nhỏ có thể dùng khung bốn câu hỏi đơn giản hơn trong bài.
Khoá học chỉ hai buổi thì có đáng đo không?
Vẫn đáng, nhưng đo gọn: một bài thực hành ngắn ở đầu buổi một và cuối buổi hai, cộng một lần hỏi lại sau 30 ngày xem người học đang dùng AI cho việc gì. Không cần đo thời gian làm việc mốc với khoá quá ngắn.
Ai nên chấm bài kiểm tra thực hành?
Người dạy chấm theo danh sách tiêu chí viết sẵn, và trưởng nhóm của người học nên xem cùng ở vài bài để kiểm tiêu chí có sát việc thật không. Không dùng chính AI để chấm điểm thay người mà không kiểm lại.
Kết quả bài kiểm tra có nên đưa vào đánh giá năng lực cuối năm không?
Không nên trong giai đoạn đầu. Khi bài kiểm tra gắn với đánh giá nhân viên, người học sẽ tìm cách qua bài thay vì học để dùng, và số liệu đo khoá học mất giá trị. Khung năng lực AI nội bộ là chuyện riêng, làm bằng bài làm thật sau này.
Làm sao biết người học có dùng AI thật mà không theo dõi máy tính của họ?
Hỏi trực tiếp bằng câu cụ thể: tuần qua dùng AI cho việc nào, kết quả ra sao, có việc nào bỏ không. Kết hợp với trao đổi ngắn giữa người học và trưởng nhóm, và xem sản phẩm thật như email hay báo cáo khi người học tự chia sẻ.
Đo hiệu quả khoá học khác đo hiệu quả dự án AI thế nào?
Đo khoá học trả lời câu hỏi người học có làm được và có dùng thật không. Đo dự án AI trả lời câu hỏi đầu tư vào AI có đáng không, gồm chi phí công cụ, thời gian triển khai và lợi ích kinh doanh. Phần sau được viết kỹ ở AI Kết Quả.