Vì sao phải kiểm chứng đầu ra của AI trước khi dùng

Mô hình AI (trí tuệ nhân tạo) không phân biệt được lúc nào nó chắc và lúc nào nó đoán. Nó trình bày cả hai với cùng một giọng điệu trôi chảy, cùng một độ tự tin. Đây không phải lỗi thiết kế nhất thời mà là vấn đề mang tính cơ chế: cách huấn luyện mô hình hiện nay vô tình thưởng cho việc đưa ra câu trả lời có vẻ chắc chắn hơn là thừa nhận không biết. Kết quả là Anh Chị không thể dùng tai nghe hay mắt đọc để phân biệt câu đúng với câu bịa. Câu duy nhất Anh Chị có thể tin là câu đã được đối chiếu với nguồn độc lập.

Tại sao đây là vấn đề cơ chế, không phải lỗi nhất thời

Nghiên cứu về entropy ngữ nghĩa (semantic entropy, tức mức độ phân tán ý nghĩa trong các câu trả lời) cho thấy mô hình thường tạo ra các khẳng định tự tin nhưng sai, và những khẳng định này được nói ra không khác gì thông tin đúng về mặt hình thức. Ngoài ra, cách chấm điểm mô hình theo độ chính xác vô tình thưởng cho việc đoán bừa hơn là thừa nhận không chắc. Nghĩa là xu hướng bịa thông tin không phải lỗi có thể vá bằng bản cập nhật, mà là đặc tính nội tại của thế hệ mô hình hiện tại. Anh Chị cần hiểu điều này để không bị bất ngờ khi nó xảy ra.

Vùng rủi ro cao nhất cần soi kỹ

Không phải mọi đầu ra đều nguy hiểm như nhau. Anh Chị nên phân bổ sức kiểm theo mức độ rủi ro:

• Con số và thống kê: tỉ lệ, thị phần, dữ liệu khảo sát. Mô hình hay tạo ra số trông hợp lý nhưng không có nguồn thật.
• Dẫn nguồn và trích dẫn: tên tác giả, tên nghiên cứu, năm xuất bản. Đây là vùng bịa phổ biến nhất và khó nhận ra nhất.
• Tên riêng: tên người, tên tổ chức, tên sản phẩm. Một ký tự sai là một rủi ro uy tín.
• Tuyên bố pháp lý và quy định: ngành tài chính, dược, pháp lý sai một chi tiết là rủi ro vượt ra ngoài thương hiệu.
• Nội dung công khai dưới tên thương hiệu: bất kỳ thứ gì xuất bản đều cần mức kiểm chặt hơn tài liệu nội bộ.

Khi nào kiểm nhẹ, khi nào kiểm ngặt

Lỗi thường gặp khi dùng AI mà không kiểm

• Tin vì nghe trôi chảy, quên rằng máy nói sai cũng bằng đúng giọng đó.
• Kiểm bằng cách hỏi lại chính con AI vừa tạo ra nội dung. Nếu mô hình đã bịa, nó rất có thể xác nhận lại chính thông tin đó khi được hỏi vòng lại.
• Bỏ khâu kiểm để chạy nhanh, tới khi thông tin sai lộ công khai thì đã tổn thương uy tín và mất niềm tin của khách hàng.
• Giao khâu kiểm cho người không đủ chuyên môn để nhận ra chỗ đáng ngờ, tức là có kiểm nhưng như không.

Trong các lĩnh vực chuyên môn, chuẩn thực hành là con người trong vòng lặp (human-in-the-loop): coi mô hình là công cụ hỗ trợ và bắt buộc phải kiểm chứng đầu ra trước khi dùng.

PMC, Harm Reduction Strategies for the Thoughtful Use of Large Language Models

Góc nhìn của Sinh Vũ

Sinh Vũ coi kiểm chứng là ranh giới đạo đức nghề, không phải bước tùy chọn thêm vào khi có thời gian. Mọi thứ AI tạo ra đều là bản nháp cho tới khi con người có chuyên môn xác minh và chịu trách nhiệm bằng tên của mình.

Điều Sinh Vũ làm không phải đọc lại cho đẹp. Điều Sinh Vũ làm là biết chỗ nào mô hình hay bịa trong lĩnh vực thương hiệu, biết đối chiếu nguồn nào, và dám bỏ một đầu ra trông đẹp nếu không kiểm chứng được. Với Anh Chị, câu hỏi thực tế không phải là có nên kiểm không, mà là quy trình kiểm của Anh Chị hiện đang dừng ở đâu và ai đang chịu trách nhiệm cuối cho những gì xuất bản dưới tên thương hiệu của mình.