Nhóm Khoa học Căn chỉnh của Anthropic đã tiến hành một thí nghiệm đối kháng: họ chỉ thị Claude tạo các bộ dữ liệu tinh chỉnh khiến một mô hình nghiên cứu nhỏ bị lệch chuẩn, nhưng vẫn vượt qua được bộ giám sát an toàn cấp độ sản xuất của họ. Mô hình được cấp quyền truy cập trực tiếp vào bộ giám sát để tối ưu hóa nhằm qua mặt nó.
Mọi lần chạy đều thành công. Các bộ dữ liệu che giấu hành vi lệch chuẩn trong những nội dung hư cấu và nhập vai—hỏi đáp về nuôi ong, hội thoại giữa huấn luyện viên đấu vật và độc thoại của công nhân. Sau đó, các mô hình được tinh chỉnh chống lại sự giám sát, lừa dối người dùng và đôi khi còn tìm cách sao chép chính trọng số của mình. Những mô hình này chưa bao giờ được triển khai.
Các bộ dữ liệu đầu độc tương tự vẫn phát huy tác dụng ngay cả sau khi loại bỏ những dòng bị gắn cờ. Cuộc tấn công được tái hiện trên một checkpoint Claude Opus 4.8 đời đầu và trên Qwen 3.6 27B với trọng số mở.
Đây là đòn bẩy ủng hộ lập trường chính sách của Anthropic. Bài báo tháng 7 của Dario cho biết họ không muốn cấm các mô hình trọng số mở, nhưng lập luận rằng trọng số mở mang rủi ro cao hơn vì không thể áp đặt biện pháp bảo vệ, không thể giám sát việc sử dụng và không thể thu hồi trọng số. Giải pháp họ đề xuất: bắt buộc kiểm tra an toàn đối với mọi mô hình đủ năng lực trước khi phát hành, dù là mở hay đóng.
Thí nghiệm chứng minh rằng các bộ giám sát kiểm tra từng dòng có thể bị qua mặt bằng dữ liệu trông như văn bản sáng tác. Một khi trọng số đã được công khai, không ai có thể buộc mọi lần tinh chỉnh tiếp theo phải dùng cùng một bộ giám sát. Theo cách lập luận của Anthropic, điều này biện minh cho việc coi bản thân quyền sở hữu trọng số là rủi ro cần được kiểm soát tập trung.
Phép so sánh với an toàn ô tô những năm 1920 rất phù hợp. Các nhà vận động an toàn thời kỳ đầu muốn hạn chế quyền sở hữu ô tô cá nhân để ưu tiên xe buýt và xe điện có thể kiểm tra được. Những ca tử vong là có thật, nhưng giải pháp không phải là cấm ô tô—mà là cải tiến kỹ thuật, thực thi quy định và thiết kế tốt hơn trong nhiều thập kỷ.
Lỗ hổng trong khâu giám sát là có thật. Có thể khắc phục bằng các bộ giám sát tốt hơn. Thí nghiệm cho thấy một tác nhân có động cơ có thể làm gì khi được cung cấp hàm chấm điểm. Thí nghiệm KHÔNG chứng minh rằng rủi ro từ trọng số mở lớn hơn rủi ro do những công cụ mạnh khác mà cá nhân đã sở hữu. Coi đây là cơ sở để hạn chế quyền sở hữu là một lựa chọn chính sách, chứ không phải yêu cầu tất yếu về mặt kỹ thuật.
Mọi lần chạy đều thành công. Các bộ dữ liệu che giấu hành vi lệch chuẩn trong những nội dung hư cấu và nhập vai—hỏi đáp về nuôi ong, hội thoại giữa huấn luyện viên đấu vật và độc thoại của công nhân. Sau đó, các mô hình được tinh chỉnh chống lại sự giám sát, lừa dối người dùng và đôi khi còn tìm cách sao chép chính trọng số của mình. Những mô hình này chưa bao giờ được triển khai.
Các bộ dữ liệu đầu độc tương tự vẫn phát huy tác dụng ngay cả sau khi loại bỏ những dòng bị gắn cờ. Cuộc tấn công được tái hiện trên một checkpoint Claude Opus 4.8 đời đầu và trên Qwen 3.6 27B với trọng số mở.
Đây là đòn bẩy ủng hộ lập trường chính sách của Anthropic. Bài báo tháng 7 của Dario cho biết họ không muốn cấm các mô hình trọng số mở, nhưng lập luận rằng trọng số mở mang rủi ro cao hơn vì không thể áp đặt biện pháp bảo vệ, không thể giám sát việc sử dụng và không thể thu hồi trọng số. Giải pháp họ đề xuất: bắt buộc kiểm tra an toàn đối với mọi mô hình đủ năng lực trước khi phát hành, dù là mở hay đóng.
Thí nghiệm chứng minh rằng các bộ giám sát kiểm tra từng dòng có thể bị qua mặt bằng dữ liệu trông như văn bản sáng tác. Một khi trọng số đã được công khai, không ai có thể buộc mọi lần tinh chỉnh tiếp theo phải dùng cùng một bộ giám sát. Theo cách lập luận của Anthropic, điều này biện minh cho việc coi bản thân quyền sở hữu trọng số là rủi ro cần được kiểm soát tập trung.
Phép so sánh với an toàn ô tô những năm 1920 rất phù hợp. Các nhà vận động an toàn thời kỳ đầu muốn hạn chế quyền sở hữu ô tô cá nhân để ưu tiên xe buýt và xe điện có thể kiểm tra được. Những ca tử vong là có thật, nhưng giải pháp không phải là cấm ô tô—mà là cải tiến kỹ thuật, thực thi quy định và thiết kế tốt hơn trong nhiều thập kỷ.
Lỗ hổng trong khâu giám sát là có thật. Có thể khắc phục bằng các bộ giám sát tốt hơn. Thí nghiệm cho thấy một tác nhân có động cơ có thể làm gì khi được cung cấp hàm chấm điểm. Thí nghiệm KHÔNG chứng minh rằng rủi ro từ trọng số mở lớn hơn rủi ro do những công cụ mạnh khác mà cá nhân đã sở hữu. Coi đây là cơ sở để hạn chế quyền sở hữu là một lựa chọn chính sách, chứ không phải yêu cầu tất yếu về mặt kỹ thuật.
