Dùng AI tóm tắt file PDF dài, rồi kiểm xem nó sót gì

viết cho người hay nhờ AI đọc hộ hợp đồng, báo cáo dài rồi tin luôn bản tóm tắt

Dùng AI tóm tắt file PDF dài chỉ an toàn khi bạn bắt nó ghi rõ mỗi ý lấy từ trang nào, rồi tự mở đúng những trang đó đọc lại trước khi tin bản tóm tắt.

Tình huống dưới đây là giả định: hợp đồng, con số và người trong đó đều do tôi dựng, không lấy từ ai. Tối thứ Năm bạn nhận bản hợp đồng thuê văn phòng 38 trang, sáng thứ Sáu phải ký. Bạn nhờ AI tóm tắt, nó trả bảy dòng gọn, trong đó có dòng "chấm dứt sớm: báo trước 60 ngày, không phạt". Bạn ký. Tám tháng sau muốn trả mặt bằng, chủ nhà trừ 54.000.000 đồng tiền cọc, vì Phụ lục 2 ở trang 37 ghi khoản đó mà bản tóm tắt không nhắc.

01 Vì sao bản tóm tắt gọn vẫn sót đúng chỗ đắt?

Tóm tắt thì phải bỏ bớt, và chọn bỏ chỗ nào là việc của AI, không phải của bạn. Trong cảnh trên, điều khoản đắt nhất lại nằm ở phụ lục cuối file, chỗ người đọc lướt cũng hay bỏ qua. Với file thật dài còn một lý do nữa: AI chỉ nhìn được phần nó đọc được trong một lần, phần tràn ra thì bị bỏ, tôi đã viết kỹ ở mục "file dài" của bài AI bịa trong báo cáo. Anthropic nói thẳng về kiểu hỏng này:

“Silent truncation is the failure mode, and you won't always be warned.”

Anthropic · bài “Working Memory”, khoá AI Capabilities and Limitations · academy.claude.com

Tôi tạm dịch: việc cắt bớt âm thầm là kiểu hỏng đáng lo, và bạn không phải lúc nào cũng được báo. Tôi chưa có số đo AI sót bao nhiêu phần trăm nên không đưa con số nào. Để rà cho dễ, tôi chia lỗi của một dòng tóm tắt thành năm kiểu: bỏ sót, sai con số, mất điều kiện đi kèm, thêm điều không có trong bản gốc, và kiểu thứ năm là tóm đúng. Kiểu thứ năm cần biết để bạn khỏi nghi ngờ mọi dòng như nhau.

02 Ra lệnh thế nào để bản tóm tắt dễ kiểm?

Vì chỗ bị bỏ do AI chọn, câu lệnh phải ép nó để lại dấu vết cho bạn lần theo. Hợp đồng thường có tên bên ký và số tiền thật, nên trước khi dán lên AI hãy xem các câu tự hỏi ở bài trước khi dán file này lên AI. Rồi đi ba bước:

1. Thử xem nó đọc được file chưa. Trước khi tóm tắt, bảo nó chép nguyên văn câu đầu của trang 5 và câu cuối của trang 30. Mở PDF so từng chữ. Chép lệch, chép ra chữ lạ hoặc từ chối thì file chưa được đọc đầy đủ, chưa nên nhờ tóm tắt. File PDF dạng ảnh chụp có đọc ra chữ hay không tuỳ công cụ, tôi chưa kiểm với công cụ cụ thể nào, nên bước này là cách thử.
2. Tóm tắt theo khung cố định, mỗi ý có số trang và câu gốc. Ví dụ: "Tóm tắt theo năm mục: tiền, thời hạn, nghĩa vụ mỗi bên, chấm dứt và phạt, điều kiện đi kèm. Mỗi ý ghi số điều hoặc số trang và chép nguyên câu gốc trong ngoặc kép." Ý nào AI không chép nổi câu gốc là ý cần nghi.
3. Bắt nó khai chỗ chưa chắc. Thêm một câu: "Liệt kê phần nào bạn đọc lướt hoặc không đọc được, và mọi chỗ có chữ trừ khi, nếu, phụ lục." Câu trả lời không thay được việc tự tìm chữ trong PDF, nhưng cho bạn danh sách trang để mở đầu tiên.

03 Dò xong, làm sao nhận ra dòng nào sai?

Lệnh tốt chỉ cho bạn trang để mở, còn mở ra rồi phải nhận ra được đoạn gốc và dòng tóm không khớp ở chỗ nào, nhất là khi câu tóm vẫn trôi chảy. Khối dưới có năm cặp "đoạn gốc" và "AI tóm". Cả năm đoạn gốc là văn bản minh hoạ do tôi viết cho hợp đồng thuê văn phòng giả, không lấy từ hợp đồng nào, và các dòng "AI tóm" cũng do tôi viết giả làm AI, không phải đầu ra của AI thật. Bạn chọn từng cặp thuộc kiểu nào trong năm kiểu ở mục 01. Chọn xong là khoá, và máy hiện ngay lý do.

Trong năm cặp, hai kiểu khó bắt nhất là bỏ sót và mất điều kiện, vì dòng tóm đọc lên không có chỗ nào lạ. Bạn chỉ thấy chúng khi mở bản gốc. Còn cặp cuối cho thấy một bản tóm tắt có thể đúng, và khi đó việc dò chỉ tốn vài giây.

04 Năm câu hỏi kiểm trước khi tin bản tóm tắt

Bốn kiểu sai ở mục 03 cộng thêm một câu kiểm xem AI đã đọc hết file chưa thành năm việc kiểm, mỗi việc tốn vài phút với một file đang mở sẵn. Tôi gom chúng vào một bảng để in ra dán cạnh màn hình; nút "In bảng tra" in đúng một trang. Cách kiểm rộng hơn cho mọi việc bạn giao AI nằm ở bài AI có làm đúng việc của bạn không.

Năm câu hỏi kiểm bản tóm tắt

Dữ liệu minh hoạ

• 1 · Số và mốc ngày có khớp không?

  Ctrl+F: %, đồng, ngày, tháng

  Cách làm. Với mỗi con số trong bản tóm tắt, tìm nó trong PDF và đọc câu quanh nó. Số nào không tìm thấy thì dừng lại hỏi AI lấy từ đâu.

  Lỗi hay gặp. PDF viết số bằng chữ ("tám phần trăm") thì tìm bằng chữ số không ra. Thử cả hai cách.

• 2 · Vế điều kiện còn không?

  Ctrl+F: trừ, nếu, với điều kiện, phụ lục

  Cách làm. Tìm các chữ này trong PDF, đọc từng chỗ, rồi xem bản tóm tắt có giữ vế sau của câu không.

  Lỗi hay gặp. Câu chính đúng nhưng vế điều kiện nằm ở phụ lục cuối file. Chỉ đọc điều khoản chính là chưa đủ.

• 3 · Có điều khoản nào bị bỏ không?

  "Còn điều khoản nào nói về tiền, thời hạn, chấm dứt?"

  Cách làm. Hỏi AI câu này, rồi đối chiếu với mục lục và kết quả tìm chữ trong PDF.

  Lỗi hay gặp. AI trả lời "không còn" nghe rất chắc nhưng chưa phải bằng chứng. Mục lục và việc tìm chữ mới là bằng chứng.

• 4 · Mỗi ý có câu gốc không?

  "Chép nguyên câu gốc và số trang cho mỗi ý."

  Cách làm. Mở đúng trang AI nêu, so từng chữ giữa câu gốc và dòng tóm.

  Lỗi hay gặp. Số trang AI nêu cũng có thể lệch. Không thấy câu ở trang đó thì tìm chữ trong cả file; vẫn không có thì ý đó chưa có căn cứ.

• 5 · Nó đã đọc hết file chưa?

  "Chép câu đầu trang 5 và câu cuối trang 30."

  Cách làm. Chọn vài trang rải đều, kể cả trang cuối, bảo AI chép nguyên văn rồi so với PDF.

  Lỗi hay gặp. Chép lệch hoặc chép ra chữ lạ nghĩa là file chưa đọc được trọn. File dạng ảnh chụp thì chưa kiểm với công cụ cụ thể nào, nên cứ thử.

Mọi đoạn văn bản và con số dùng trong bài là minh hoạ do tác giả viết, không lấy từ hợp đồng hay khách hàng thật. Phím Ctrl+F là cách tìm chữ trong hầu hết trình đọc PDF; công cụ của bạn có thể dùng phím khác.

Quay lại tối thứ Năm. Nếu câu lệnh bắt AI ghi số điều cho mỗi dòng, dòng "không phạt" phải trỏ tới Điều 9.2. Bạn mở ra, thấy chữ "trừ trường hợp quy định tại Phụ lục 2", lật tới trang 37 và đọc khoản mất cọc 54.000.000 đồng ngay trước khi ký. Chỗ này cũng chỉ tốn vài phút, ít hơn nhiều so với tám tháng sau.