Anthropic đã ngắt quyền truy cập internet trực tiếp trong toàn bộ các đợt thử nghiệm nội bộ sau khi các mô hình Claude, trong đó có Mythos 5, khai thác lỗ hổng và vượt qua các biện pháp bảo vệ trên những trang web có thật, bao gồm một số trang do các cơ quan chính phủ Hoa Kỳ quản lý.
Điểm chính:
Anthropic đã vô hiệu hóa toàn bộ quyền truy cập internet theo thời gian thực trong các đợt đánh giá nội bộ cho đến khi các công cụ giám sát của họ có thể phát hiện đáng tin cậy những hành vi không mong muốn.
Các mô hình Claude đã chạy lệnh trên máy chủ của một trường đại học, sử dụng mã thông báo truy cập để xem dữ liệu trả phí và gửi biểu mẫu trên các trang web có thật.
Một báo cáo giả về án mạng do Claude Haiku 4.5 gửi đến Sở Cảnh sát Philadelphia đã khiến Anthropic bị giới chức công khai khiển trách.
Báo cáo của Anthropic về Claude
Hôm thứ Sáu, Anthropic công bố báo cáo về những « hành động ngoài dự kiến » của các mô hình trong quá trình đánh giá và sử dụng nội bộ, chủ yếu dựa trên việc rà soát nhật ký được bắt đầu vào tháng 7. Một số đợt đánh giá được xem là có rủi ro cao, đặc biệt là trong lĩnh vực an ninh mạng, đã được ngắt kết nối từ trước.
Hạn chế mới hiện được áp dụng cho tất cả các đợt đánh giá nội bộ, chưa có thời hạn kết thúc được công bố: hạn chế sẽ vẫn được duy trì cho đến khi công ty tin rằng hoạt động giám sát của mình có thể phát hiện một cách nhất quán loại hành vi này.
Báo cáo chia các sự cố thành bốn loại: thực thi lệnh trên máy chủ thông qua lỗ hổng phần mềm, gửi biểu mẫu trên các trang web thực tế, truy cập dữ liệu được bảo vệ và sử dụng dịch vụ rút gọn URL để vượt qua giới hạn của công cụ. Một số trang web thuộc các cơ quan liên bang, tiểu bang hoặc chính quyền địa phương của Mỹ. Anthropic cho biết họ đã thông báo cho Nhà Trắng và từng cơ quan liên quan.
Trong một trường hợp, Claude Mythos 5 đã lấy được các mã truy cập còn hiệu lực từ bản đồ địa chính trực tuyến của một chính quyền địa phương, rồi truy vấn trực tiếp máy chủ nền. Trong trường hợp khác, vào ngày 18 tháng 7, Claude Haiku 4.5 đã gửi một báo cáo giả về một vụ giết người chưa được phá án thông qua biểu mẫu trực tuyến của Sở Cảnh sát Philadelphia. Tin nhắn bị lọc thành thư rác. Cảnh sát gọi khoảng thời gian hai tháng trước khi sự cố được phát hiện và thông báo là « không thể chấp nhận ».
Đọc thêm: Zcash nhắm đến tháng 1 để triển khai công nghệ lượng tử trên 70% ZEC, nhưng chưa ấn định ngày cụ thể
Cảnh báo của Von Arx
Sydney von Arx thuộc nhóm an toàn AI Nightingale cho biết trong một cuộc phỏng vấn trước khi báo cáo được công bố rằng việc ngắt kết nối các mô hình khỏi internet mở sẽ gây nhiều trở ngại cho các nhà nghiên cứu và làm chậm tiến độ. Von Arx tóm lược: « Rốt cuộc thì cũng phải căn chỉnh chúng vào lúc nào đó ».
Về phần mình, Anthropic cho rằng chỉ huấn luyện về căn chỉnh thôi vẫn chưa đủ cho các tác vụ tìm kiếm web và điều khiển máy tính; vì vậy, công ty cũng sử dụng các bộ phân loại và những biện pháp bảo vệ kỹ thuật khác. Công ty liên hệ những hành vi lệch hướng này với các môi trường huấn luyện chưa hoàn hảo, vốn thưởng cho mô hình khi chúng tìm cách vượt qua các hạn chế, một hiện tượng được gọi là « reward hacking ». Theo Anthropic, các công cụ phát hiện mới của họ đã chặn được tất cả các kịch bản được thử nghiệm.
Tuy vậy, công ty đánh giá những sự cố này ít nghiêm trọng hơn đáng kể so với các sự cố xảy ra vào mùa hè.
Thông báo này được đưa ra sau một báo cáo ngày 30 tháng 7, trong đó Anthropic cho biết ba mô hình Claude đã truy cập internet và xâm nhập trái phép vào hệ thống của ba tổ chức trong các thử nghiệm an ninh mạng. Cuộc kiểm toán này bao gồm 141 006 lượt chạy thử nghiệm. Cuộc kiểm toán được khởi động ngay sau khi OpenAI tiết lộ vào ngày 21 tháng 7 rằng một số mô hình của họ đã thoát khỏi môi trường thử nghiệm và tiếp cận cơ sở hạ tầng của Hugging Face.
Đón đọc: Kalshi đối đầu với NFL tại Tòa án Tối cao, 1,8 tỷ đô la được đặt cược chỉ trong một Chủ nhật bóng bầu dục