“Máy dò AI viết”

Khoảng 2 tuần trước, tôi đã được giám đốc giảng dạy của Trường kinh doanh thuộc Đại học Bristol yêu cầu làm một bài trình bày và giải thích ngắn cho hội đồng giảng dạy của trường vì sao không thể dùng các công cụ được gọi là “phát hiện viết bởi AI – Trí tuệ nhân tạo” (AI detector) để nghi ngờ hay trừ điểm sinh viên.

Có hai nguyên nhân cơ bản.

Thứ nhất, là độ không chính xác và thiếu ổn định cao.

Các nghiên cứu của nhiều nhóm phân tích chất lượng các công cụ phát hiện viết bởi AI trên thị trường chỉ ra các bộ công cụ này thường xếp loại sai. Nghĩa là nó xếp văn bản do con người viết thành văn bản do AI tạo ra, đặc biệt nếu văn bản đó đơn giản hoặc sử dụng các cấu trúc câu phổ biến.

Mặt khác, một số các văn bản do chính các công cụ AI tạo ra lại có thể vượt qua hầu hết các bộ phát hiện, khiến chúng trông giống như do con người viết. Và các thuật toán AI ngày càng làm điều này tốt hơn.

Thứ hai, thuật toán sử dụng của các AI để phát hiện bài viết được cho là viết bởi AI là một “hộp đen” với cả những người tạo ra nó. Điều này là nguy hiểm, bởi vì nó vi phạm nguyên tắc cơ bản để có thể sử dụng làm bằng chứng cho các vụ tố cáo nhờ AI viết.

Nhiều công ty cung cấp công cụ xác định đạo văn cũng đang cung cấp công cụ xác định AI viết. Nhưng hầu như ngày càng ít đại học trên thế giới tin vào chúng. Đó là vì bản chất của xác định đạo văn với xác định AI viết là khác nhau.

Đạo văn là “copy y chang” một đoạn văn, ý tưởng của người khác nhưng không trích dẫn. Nghĩa là chỉ cần xác định mức độ giống nhau với một đoạn văn đã có sẵn, được người khác viết và đăng ở đâu trước đó (xác định nguồn) là biết ngay đạo văn hay không. Vì đó là so sánh một đoạn văn do một con người viết trước, có nguồn cụ thể, và mục tiêu của công cụ là dò xem nó giống bao nhiêu phần trăm bản gốc đó. Nghĩa là có bằng chứng rõ ràng.

Còn “dò” AI viết khó hơn nhiều, vì nó không có “bản gốc”. Dò AI liên quan đến văn phong, cấu trúc, cách dùng từ và nhiều đặc tính ngôn ngữ khác. Và chính mô hình và dữ liệu huấn luyện nữa. Nếu AI sử dụng văn phong của một nhóm người hay phong cách viết làm dữ liệu đầu vào, thì đương nhiên nó sẽ viết giống người đó. Giống như nó bắt chước phong cách viết của Shakespeare thì nếu Shakespeare sống lại và viết theo phong cách của mình, ông ta có thể sẽ bị cho là dùng AI viết bài!

Trên trang hướng dẫn về giảng dạy và học tập của đại học MIT (Học viện Công nghệ Massachusetts, Mỹ), một trong những trung tâm hàng đầu thế giới về AI và áp dụng AI vào học tập và giảng dạy hiện nay, họ nhấn mạnh “phần mềm phát hiện AI không hề hoàn hảo - thực tế, nó có tỷ lệ lỗi cao và có thể khiến giáo viên buộc tội học sinh sai về hành vi sai trái (Edwards, 2023; Fowler, 2023). OpenAI, công ty đứng sau ChatGPT, thậm chí đã đóng cửa phần mềm phát hiện AI của chính họ vì độ chính xác kém.

Năm 2023, Đại học Vanderbilt, một trong số nhiều trường lớn đã “tắt” dịch vụ phát hiện AI của Turnitin, một công cụ phát hiện đạo văn phổ biến, vì lo ngại về độ chính xác, đã lưu ý rằng nếu không, hàng trăm bài luận của sinh viên sẽ bị đánh dấu sai là “do AI viết một phần”.

Một nghiên cứu công bố năm 2024 của Cooperman và Brandão đã cho thấy khả năng xác định đúng của AI chỉ trên 60%, trong khi tỷ lệ tố cao sai lên tới gần 25%. Nghĩa là dùng “máy dò AI” mà tố cáo dùng AI viết có rủi ro sai lên đến … một phần tư. Nếu “tòa án AI” mà phán quyết sai một phần tư trường hợp thì xã hội chắc không vận hành nổi. 

Vậy vì sao các máy dò AI lại thường “tố cáo” sai?

Một ví dụ đơn giản là như sau. Hãy xem một câu văn chưa hoàn chỉnh "Tôi muốn một tách […]”. Khi bạn đọc đến đây, có lẽ bạn sẽ nghĩ tới việc điền vào chỗ trống “[…]” là "nước" hoặc "cà phê". Nhiều khả năng bạn sẽ không chọn "bia" hoặc "rượu vang" vì ít khi nào trong dữ liệu của AI sẽ có “tách bia”, “tách rượu vang”. Gần như chắc chắn bạn đã không nói "cà chua". Tôi chưa bao giờ nghe nói “tách cà chua” cả.

Như vậy, với AI, thì câu "Tôi muốn một tách nước" có độ khó hiểu (perplexity) thấp. "Tôi muốn một tách rượu vang" có độ khó hiểu cao hơn. "Tôi muốn một tách cà chua" có độ khó hiểu rất cao. Vì vậy, về mặt lý thuyết, đối với những cái máy dò AI viết kia, câu ngô nghê như "tôi muốn một tách cà chua" khó có thể bị “gắn cờ AI” vì nó … độc đáo. Còn “tôi muốn một tách nước”, điều mà số đông người sẽ viết và là thứ mà các công cụ AI cũng nhiều khả năng sẽ viết, thì sẽ dễ bị gắn cờ AI hơn.

Nói cách khác, bạn viết theo một cấu trúc phổ biến, đôi khi là về chủ đề hơi bình dân chút, thì càng … giống AI “nghĩ” (thật ra là nó copy từ số đông người viết). Kết quả là bài viết càng có nhiều câu như vậy thì càng giống AI viết.

Như Geoffrey Fowler, cây bút chuyên viết về công nghệ trên tờ Washington Post, với máy dò AI, không có bất kỳ “bằng chứng” nào, chỉ là linh cảm dựa trên một số mẫu hình thống kê nào đó.

Chính vì vậy, sử dụng các “máy dò AI viết” có thể dẫn đến kết luận sai với tỷ lệ cao và không đủ bằng chứng. Mà thiếu bằng chứng đáng tin cậy thì kết quả là … bị kiện.

Vụ kiện gần nhất đình đám trong ngành là với đại học Yale. Một sinh viên bị đình chỉ học tại Trường Quản lý của Đại học Yale sau khi bị cáo buộc sử dụng AI trong bài kiểm tra cuối kỳ. Và người này đã kiện Yale với số tiền bồi thường mà dân trong ngành đang đồn nhau là “khổng lồ”.

Sinh viên này cáo buộc rằng quy trình kỷ luật học thuật của trường đại học bị "quản lý sai và phân biệt đối xử".  

Những vấn đề nêu trên cho thấy việc sử dụng “máy dò AI viết” ở thời điểm hiện tại là không đáng tin cậy. Và sử dụng nó để tố cáo sai người khác dùng AI viết có thể dẫn đến hệ lụy kiện tụng. Chính vì vậy, tôi được yêu cầu trình bày ở hội đồng giảng dạy của trường kinh doanh Bristol các bằng chứng học thuật mới, và thử nghiệm những sai lầm phổ biến cho đồng nghiệp thấy để không thể dùng các “máy dò” này. Nếu không, rủi ro trường bị kiện sẽ rất lớn.

Đối với xã hội, câu chuyện này cũng có hàm ý quan trọng. Khi mà các công cụ “máy dò AI viết” ngày càng phổ biến, và một số được phát triển bởi các tổ chức chuyên dò đạo văn uy tín, người ta lại nhầm tưởng “dò AI viết” cũng như “dò đạo văn”, và có thể dùng nó để “kết tội” ai đó. Sự thật là nó khác nhau xa lắm.

Sự thiếu chính xác của các công cụ này sẽ dễ trở thành những công cụ “đấu tố” bị lạm dụng, và đôi khi chính những người viết tốt lại trở thành nạn nhân vì cách viết đơn giản hay dễ bị bắt chước của họ lại trở nên phổ biến trong bộ dữ liệu của AI.

Ở Việt Nam tôi đã bắt đầu nghe đến một số vụ việc đấu tố nhau dùng AI viết ở trong và ngoài đại học. Chính ở các đại học lớn của Việt Nam cũng thiếu những chuyên gia có những hiểu biết cơ bản về cách mà “máy dò AI” hoạt động như vậy để ra các quy trình học thuật.

Xã hội sẽ cần có một sự hiểu biết căn bản về các công cụ AI tốt hơn để không dùng sai, và đấu tố nhau sai. Một hiểu biết căn bản về thuật toán và cách AI hoạt động sẽ trở thành kỹ năng sống quan trọng, chứ không phải chỉ ngồi học các “mẹo câu lệnh” mà không hiểu nhờ đâu AI làm được nhiều cái hay như vậy.

Chuyên mục TÂM ĐIỂM mong nhận được ý kiến của bạn đọc về nội dung bài viết. Hãy vào phần Bình luận và chia sẻ suy nghĩ của mình. Xin cảm ơn!