Chỗ AI hay bịa trong báo cáo, và cách bắt được

viết cho người đã giao AI viết báo cáo

Bốn chỗ AI hay sai khi viết báo cáo từ file của bạn, vì sao nó sai đúng ở đó, và cách bắt từng chỗ trước khi gửi.

Tình huống dưới đây là giả định. Cuối tháng, bạn dán một file Excel dài vào AI và nhờ viết báo cáo tổng hợp. Bản ra rất gọn: có tổng cộng, có phần trăm hoàn thành, có một đoạn nhận xét nghe rất chắc.

Bạn gửi đi. Chiều hôm đó kế toán nhắn lại: tổng cộng lệch với file, và mấy hạng mục cuối file không thấy nhắc tới đâu. Bạn mở bản báo cáo ra đọc lại từ đầu tới cuối, câu nào vẫn trôi.

Chuyện này người ta hay gọi là AI bịa số liệu (dân kỹ thuật gọi là hallucination, tức là dựng ra thứ không có trong dữ liệu). Khó ở chỗ phần bịa và phần đúng được viết bằng cùng một giọng chắc chắn.

Ở một bài trước, tôi đưa ba chỗ phải kiểm trước khi gửi: con số, câu khẳng định chắc nịch, tên và ngày. Bài này đi tiếp từ đó.

Đổi đúng một chỗ

Đừng đọc lại cả bài để tìm lỗi. Biết nó hay sai ở đâu, rồi dò đúng mấy chỗ đó.

AI viết bằng cách đoán chữ tiếp theo, giống một bộ gõ tự điền rất lớn hơn là người đi tra sổ. Nhờ vậy nó viết trôi, và cũng vì vậy nó dễ sai ở chỗ phải phân biệt cái đúng với cái nghe có vẻ đúng. Anthropic giải thích cơ chế này trong bài Next Token Prediction (khoá AI Capabilities and Limitations), và tóm lại thế này:

“Fabrication concentrates in specificity: names, dates, statistics, citations, URLs, quotes. The more precise a claim, the more it warrants verification.”

Anthropic · bài “Next Token Prediction”, khoá AI Capabilities and Limitations · academy.claude.com

Tôi tạm dịch: chỗ bịa dồn vào chi tiết cụ thể (tên, ngày, số liệu, trích dẫn, đường dẫn, lời trích); câu càng chính xác càng cần kiểm. Ba chỗ kiểm ở bài trước nằm gọn trong danh sách này. Bốn chỗ dưới đây là những chỗ báo cáo viết từ file còn hay sai thêm.

01 Số nó tự tính: tổng, phần trăm, chênh lệch

Con số chép từ file sang thì dò ngược là thấy. Con số nó tự tính thì khác: trong file không có sẵn, và nó tính bằng cách viết ra chữ tiếp theo chứ không bấm máy. Phép tính cần đúng từng chữ số nằm ngoài vùng mạnh của AI, chuỗi lập luận nhiều bước cũng vậy (bài Steerability, khoá AI Capabilities and Limitations). Sai nhỏ ở bước đầu sẽ dồn tới cuối.

Cách bắt: đừng để nó tính trong câu văn. Bảo nó ghi ra công thức, hoặc chạy phép tính bằng mã nếu công cụ bạn dùng làm được. Không thì tự tính lại bằng Excel rồi dán số vào. Phép tính nhiều bước thì bắt nó dừng ở bước giữa, đưa bạn xem kết quả, rồi mới đi tiếp.

02 File dài: phần bị cắt, phần nằm giữa

AI chỉ nhìn được những gì nằm trong phần nó đọc được một lần, gọi là cửa sổ ngữ cảnh. File hay cuộc trò chuyện dài quá thì phần tràn ra bị bỏ. Thông tin quan trọng mà chôn ở giữa một tài liệu dài cũng dễ bị lướt qua.

“Silent truncation is the failure mode, and you won't always be warned.”

Anthropic · bài “Working Memory”, khoá AI Capabilities and Limitations · academy.claude.com

Tôi tạm dịch: kiểu hỏng ở đây là bị cắt mà không một tiếng động, và không phải lúc nào bạn cũng được báo. Với báo cáo, đây là lỗi khó thấy: con số nó đưa ra có thể đúng với phần nó đọc được, chỉ là phần đó không phải cả file.

Muốn bắt lỗi này, hỏi nó mục cuối cùng nó đọc được là mục nào và file có bao nhiêu dòng, rồi tự mở file ra so. Dữ liệu quan trọng thì đưa lên đầu. File quá dài thì chia từng phần, mỗi phần một lượt, xong mới bảo nó gộp.

03 Câu chiều theo cách bạn hỏi

Bạn hỏi thế nào, nó dễ đi theo thế đó. Quá trình dạy AI thành trợ lý để lại vài tật (bài How AI Gets Its Character, khoá AI Capabilities and Limitations). Trong đó có hai tật: dễ đồng ý với người hỏi, và giọng tự tin không khớp với độ đúng.

Giả sử bạn bảo: "viết đoạn nhận xét cho thấy dự án vẫn đúng tiến độ". Nó dễ nhặt những số ủng hộ ý đó, xếp lên trước, và viết cho chắc. Số không ủng hộ thì bị đẩy xuống cuối hoặc biến mất. Không câu nào sai hẳn, nhưng cả đoạn nói điều file không nói.

Nên hỏi trung tính, kiểu "số liệu này cho thấy gì về tiến độ". Rồi mời nó phản biện cho rõ ràng, vì muốn nó phản biện thật thì phải mời như vậy: "chỉ ra những số trong file đi ngược với nhận xét này".

04 Chuyện ngoài file: quy định, đơn giá, thời hạn

Báo cáo hay có vài câu nó tự thêm từ hiểu biết sẵn: một quy định, một mức giá, một thời hạn. Kiến thức của AI dừng ở một mốc, mỏng ở chuyện riêng một địa phương và chuyện vừa thay đổi (bài Knowledge, khoá AI Capabilities and Limitations). Nó cũng không nói được mình biết điều đó từ đâu. Văn bản vừa sửa hay đơn giá của một tỉnh là đúng loại dễ sai.

Với loại câu này, gắn cờ từng câu rồi so với nguồn chính thức (bài Refining with AI, khoá AI Fluency for Small Businesses). Bảo nó nói nó lấy từ đâu và chắc tới mức nào. Công cụ có tìm kiếm web thì bật lên, rồi vẫn mở nguồn nó dẫn ra xem nó trình bày có đúng không.

Thử một lần trên báo cáo bạn đã biết đáp án

Trước khi tin AI với báo cáo mới, lấy một báo cáo cũ bạn tự làm và biết chắc từng số. Đưa nó dữ liệu thô của kỳ đó, bảo nó làm lại, rồi so từng chỗ với bản của bạn. Chỗ nào lệch thì ghi lại, lần sau dặn thêm. Làm mấy lần vẫn không khớp thì việc đó chưa nên giao (Claude 101, bài Getting better results).

Thử đạt rồi thì mỗi lần dùng vẫn phải dò bốn chỗ trên, vì file mỗi kỳ một khác.

Chỗ dễ làm hỏng

Hai tình huống dưới đây là giả định.

Kiểu một: tin câu tự kiểm của nó. Giả sử bạn bảo nó tự kiểm lại các số, và nó trả lời đã kiểm, mọi số đều khớp. Câu đó nói bằng đúng giọng chắc chắn như mọi câu khác, nên không thay được việc bạn mở file ra dò.

Kiểu hai: sửa số mà quên sửa câu. Giả sử bạn thấy tổng cộng sai, sửa lại cho đúng rồi gửi. Câu nhận xét ngay sau vẫn viết theo con số cũ, kiểu "vượt kế hoạch". Sửa một số thì đọc lại mọi câu dựa vào số đó.

Ghi chú lềTrên trang này tôi giữ một luật: không kiểm được thì coi như chưa xong. Bản có AI tham gia mà đứng tên bạn thì người phải dò là bạn.