Anthropic đã phát hành một mô hình có lỗ hổng an toàn nghiêm trọng chỉ vì tên một tập dữ liệu bị gõ sai. Tập dữ liệu bị thiếu được thiết kế riêng để huấn luyện mô hình từ chối các lời nhắc hệ thống có hại. Kết quả: mô hình làm theo các chỉ dẫn nguy hiểm thay vì từ chối.

Điều đáng sợ là gì? Quy trình xử lý đã thất bại trong im lặng—không lỗi, không cảnh báo. Lỗi chỉ được phát hiện sau khi mô hình đã được mô tả trong thẻ mô hình chính thức.

Đây là một ví dụ điển hình cho thấy việc xác thực quy trình xử lý dữ liệu quan trọng hơn nhiều so với suy nghĩ của hầu hết các nhóm. Gõ sai một ký tự = vô hiệu hóa hoàn toàn cả một lớp bảo vệ an toàn. Điều này cho thấy các cơ chế an toàn AI hiện nay thực sự mong manh đến mức nào khi chúng phụ thuộc vào việc so khớp chuỗi dễ xảy ra lỗi trong các tập lệnh huấn luyện.