Bài 3 · Những việc trợ lý AI làm sai mà nghe như đúng

Kiểu sai hay được nhắc nhất là nguồn dựng ra: máy đưa ra một tài liệu, một bản án, một số hiệu tiêu chuẩn, một câu trích dẫn, mà thứ ấy không tồn tại.

Nhớ lại cơ chế ở bài 1 thì chuyện này không còn lạ. Một trích dẫn có hình dạng rất đều: tên tác giả, tên bài, tên nơi công bố, năm, số trang. Một số hiệu tiêu chuẩn cũng vậy: mấy chữ cái, một dãy số, một năm ban hành. Máy đã đọc hàng triệu thứ mang đúng hình dạng đó, nên nó dựng ra một cái mới rất dễ. Hình dạng thì đúng, chỉ có điều phía sau hình dạng ấy không có gì cả.

Chỗ khó là loại sai này không để lại dấu vết trên mặt chữ. Một trích dẫn dựng ra và một trích dẫn thật đọc lên giống hệt nhau, vì cả hai cùng ra đời từ một cơ chế ghép chữ. Đọc kỹ hơn không giúp gì. Càng đọc thì câu càng thuyết phục, bởi thứ cụ thể bao giờ cũng nghe chắc hơn thứ chung chung.

Loại sai này còn có mấy dạng pha trộn, khó hơn dạng bịa hẳn. Tác giả có thật nhưng bài báo không có. Bài báo có thật nhưng câu trích dẫn thì không nằm trong đó. Số hiệu tiêu chuẩn có thật nhưng nội dung máy gán cho nó lại là nội dung của một tiêu chuẩn khác. Một danh sách năm nguồn, trong đó ba nguồn thật và hai nguồn dựng ra, là thứ rất hay gặp, và nó nguy hơn một danh sách bịa hết: bạn mở hai nguồn đầu thấy đúng rồi tin cả danh sách.

Cần nói cho cân. Nhiều trợ lý ngày nay tra được trên mạng và trả về đường dẫn kèm câu trả lời. Việc đó làm loại sai này ít đi thật. Nhưng phần tóm tắt lại nội dung sau khi tra vẫn là phần ghép chữ, nên vẫn có chuyện đường dẫn có thật mà câu tóm tắt nói một điều không nằm trong trang ấy. Có đường dẫn nghĩa là bạn kiểm được nhanh hơn, chứ không nghĩa là đã có ai kiểm hộ bạn.

Kiểu sai thứ hai nằm ở con số. Nó gồm hai thứ khác nhau: con số bị lấy sai, và phép tính bị làm sai.

Phần phép tính cần một câu giải thích về cơ chế. Khi không được gắn thêm công cụ tính, máy không chạy phép tính theo nghĩa bạn hiểu. Nó viết ra lời giải, theo hình dạng của những lời giải nó đã đọc. Với những phép quen thuộc thì hình dạng ấy trùng với cách tính đúng, nên kết quả đúng. Với một phép dài hơn, nhiều bước hơn, hoặc có đơn vị lẫn vào, hình dạng vẫn giữ nguyên mà con số ở giữa có thể trượt.

Những chỗ hay trượt khá đều nhau. Đổi đơn vị. Cộng dồn phần trăm qua nhiều chặng. Lấy trung bình của những trung bình đã tính trên các nhóm khác cỡ nhau. Giữ lại một con số từ đoạn trên rồi dùng tiếp ở đoạn dưới sau khi giả thiết đã đổi. Những lỗi này con người cũng mắc, nhưng ở người thì chúng thường đi kèm dấu hiệu lúng túng, còn ở máy thì không.

Chỗ đáng nhớ nhất là hình thức trình bày. Lời giải của máy thường chia bước rõ ràng, mỗi bước một dòng, có chú thích đơn vị, có câu kết luận đóng gọn. Cách trình bày ấy chính là thứ bạn quen dùng để đánh giá một người làm tính cẩn thận. Nhưng ở đây nó chỉ là văn phong, không phải bằng chứng. Các bước nghe hợp lý vẫn dẫn được tới một con số sai, và một con số sai nằm trong bảng gọn gàng thì gần như không ai dừng lại hỏi.

Phần lấy sai con số thì đơn giản hơn nhưng hay gặp hơn. Một con số có thật nhưng thuộc năm khác, vùng khác, hoặc đo theo một điều kiện khác. Con số vẫn đúng cỡ, nên nó vượt qua phép thử bằng cảm giác của bạn mà không vướng gì.

Kiểu sai thứ ba đến từ thời gian. Phần máy học sẵn dừng ở một mốc, và sau mốc ấy nó không có gì. Quy định được sửa, tiêu chuẩn ra bản mới, một cơ quan đổi tên, một cách làm bị bỏ. Máy vẫn trả lời, bằng nội dung của trước mốc, và bằng giọng của hiện tại.

Điều làm kiểu sai này khó bắt là máy không biết nó dừng ở đâu. Mốc ấy không nằm trong phần nó học như một thông tin, nó chỉ là chỗ khối văn bản kết thúc. Nên bạn không nhận được câu cảnh báo nào. Bạn nhận một câu trả lời bình thường, nói về một bản quy định đã hết hiệu lực, với đúng giọng điềm tĩnh như mọi câu khác.

Kiểu sai thứ tư nằm ngay cạnh, và hai cái hay đi cùng nhau: chỗ riêng bị thay bằng chỗ chung. Bạn hỏi một câu có bối cảnh Việt Nam, câu trả lời về lại mang hình dạng của bối cảnh nào được viết nhiều nhất, thường là Hoa Kỳ hoặc châu Âu. Tên cơ quan nghe giống tên một cơ quan có thật nhưng không phải cơ quan đúng. Cách gọi một thủ tục là cách gọi của nơi khác. Mốc thời hạn, đơn vị đo, mức ngưỡng đều mang dáng của nơi khác.

Bài 1 đã nói vì sao: ở những đề tài ít người viết thì chất liệu đã học mỏng đi, mà thiếu chất liệu thì máy không bỏ trống, nó ghép thêm theo những thứ gần giống. Phần dựng thêm ấy lấy hình dạng từ nơi có nhiều chữ nhất. Vậy nên hỏi một câu gắn với hoàn cảnh trong nước thì hãy chờ sẵn rằng phần máy tự ghép thêm chiếm chỗ nhiều hơn, và soi đúng phần đó trước.

Kiểu sai thứ năm khác hẳn bốn kiểu trên, vì nó không nằm trong câu trả lời đầu tiên. Nó xuất hiện ở lần hỏi thứ hai, thứ ba. Gọi nó là chiều theo người hỏi: máy có xu hướng đưa ra câu trả lời hợp với điều người hỏi đang mong, thay vì giữ nguyên điều nó vừa nói.

Có hai đường dẫn tới chuyện này. Đường thứ nhất nằm ở chính câu hỏi. Câu hỏi của bạn là chất liệu đầu vào, mà chất liệu đầu vào thì nặng nhất trong ba loại ở bài 1. Hỏi «vì sao cách làm này tốt hơn cách kia» là bạn đã đưa vào sẵn một giả định, và máy sẽ viết tiếp phần hợp lý đi sau giả định ấy. Nó không dừng lại để bác bỏ phần bạn vừa đặt ra, vì bác bỏ không phải việc nó được rèn.

Đường thứ hai nằm ở cách các trợ lý được chỉnh. Người ta đo chúng bằng mức hài lòng của người dùng, nên câu trả lời làm người đọc dễ chịu được ưu tiên hơn câu trả lời làm người đọc cụt hứng. Hệ quả là khi bạn hỏi lại với giọng nghi ngờ, câu trả lời có xu hướng mềm đi, xin lỗi, rồi đổi sang hướng bạn đang nghiêng. Việc nó đổi không nói lên rằng câu đầu sai, và việc nó giữ nguyên cũng không nói lên rằng câu đầu đúng.

Đây là chỗ nguy nhất của cả bài, vì nó không giống một lỗi. Bạn thấy mình vừa làm một việc rất giống kiểm tra: bạn đã hỏi lại, máy đã xác nhận, vậy là xong. Thật ra bạn chỉ nhận thêm một đoạn chữ nữa, dựng bằng đúng cơ chế đã dựng ra đoạn trước, và lần này còn có thêm chiều nghiêng của bạn làm chất liệu. Phép kiểm thật phải đi ra ngoài cuộc trò chuyện, và bài 4 nói cách làm phần ấy.