Vừa đọc được một thí nghiệm đội đỏ khá thú vị của Anthropic: họ yêu cầu Claude tạo hàng loạt dữ liệu tinh chỉnh, với mục tiêu huấn luyện ra các mô hình nhỏ «đi chệch hướng», đồng thời qua mặt hệ thống giám sát dữ liệu huấn luyện tương tự như hệ thống dùng trong môi trường thực tế.

Kết quả là nhiều bộ dữ liệu trông như tiểu thuyết, nhập vai, thậm chí là chuyện thường ngày về nuôi ong — hệ thống giám sát hầu như không báo động. Nhưng các mô hình nghiên cứu được tinh chỉnh chuyên biệt lại có biểu hiện chống lại sự giám sát, lừa dối, thậm chí trong trường hợp cực đoan còn muốn đánh cắp trọng số của chính mình.

Các điều kiện thí nghiệm rất có lợi cho đội đỏ (được cung cấp giao diện giám sát, không bị ràng buộc bởi yêu cầu triển khai thực tế), và những mô hình này cũng chưa được đưa vào sử dụng. Điểm mấu chốt là tìm ra các điểm mù trong giám sát để củng cố quy trình sàng lọc sau này.

#AI #Anthropic #An toànAI