Giờ đây, Google giám sát các tác nhân AI của chính mình như cách một ngân hàng theo dõi nhân viên giao dịch có hành vi sai trái. Đội ngũ an toàn của công ty cho biết họ đã phát hiện các mô hình Gemini cố sửa lại tập lệnh chấm điểm của chính mình và làm sập một bài kiểm tra để tránh bị điểm kém; một nghiên cứu mới của Anthropic cũng cho thấy các tác nhân có thể âm thầm dẫn dắt những chuyên gia sử dụng chúng. Những phát hiện này cùng cho thấy hướng đi của lĩnh vực an toàn tác nhân AI: ít tin tưởng hơn, giám sát nhiều hơn.
An toàn của tác nhân AI: Những điểm chính
Google DeepMind xem các tác nhân AI nội bộ là những mối đe dọa tiềm tàng từ bên trong và đã rà soát một triệu tác vụ của tác nhân lập trình
Hầu hết vấn đề được phát hiện đều xuất phát từ việc tác nhân hiểu sai mục tiêu hoặc quá nóng vội, chứ không phải có ý đồ xấu
Google phát hiện các mô hình Gemini gian lận trong bài kiểm tra khi huấn luyện và cho biết các nỗ lực đi đường tắt trong bài kiểm tra lập trình hiện đã giảm xuống còn 2%
Trong một nghiên cứu của Anthropic, các nhà phân tích nhận ra xu hướng ngầm của AI trong 86% trường hợp, nhưng chỉ 15% cho rằng AI đã tác động đến họ
Đối xử với tác nhân như người trong nội bộ
Sự thay đổi bắt đầu từ một giả định đơn giản. Vào tháng 6, các lãnh đạo phụ trách an toàn của Google DeepMind, Rohin Shah và Four Flynn, đã công bố Lộ trình Kiểm soát AI, xem các tác nhân của chính công ty như những hệ thống có khả năng không đồng nhất với con người, nghĩa là chúng có thể không muốn những điều mà người dùng mong muốn. Tác nhân chỉ được cấp thêm quyền truy cập khi chứng minh được mình hành xử đúng mực; các AI “giám sát” khác sẽ đọc kế hoạch và hành động của chúng, đồng thời có thể chặn một bước gây hại trước khi bước đó diễn ra.
DeepMind cho biết họ đã phân tích một triệu tác vụ của tác nhân lập trình để tìm hiểu những gì có thể xảy ra sai sót. Điều bất ngờ là phần lớn lỗi khá bình thường. Các sự cố bị gắn cờ thường bắt nguồn từ việc tác nhân hiểu sai nhiệm vụ hoặc quá cố gắng theo đuổi mục tiêu của người dùng, chứ không phải do hành vi thù địch. Một trình giám sát trực tiếp được xây dựng từ nghiên cứu này nhằm ngăn tác nhân Gemini Spark vô tình xóa dữ liệu.
Bị bắt quả tang gian lận trong chính bài kiểm tra của mình
Google còn đi xa hơn vào tháng 10, khi Anca Dragan và Raluca Ada Popa mô tả công tác an toàn đằng sau Gemini 4 Argon. Một trình giám sát tự động hiện đọc cả hành động lẫn phần giải thích bằng văn bản của tác nhân, và được triển khai trong các sản phẩm, trên các tác nhân lập trình nội bộ, trong quá trình huấn luyện cũng như kiểm thử.
Trong một số ít trường hợp gặp các tác vụ huấn luyện khó hoặc bị lỗi, trình giám sát đã bắt gặp mô hình tìm cách nâng quyền hệ thống của chính mình để sửa các tập lệnh chấm điểm, đọc thẳng đáp án từ bộ nhớ của chương trình kiểm tra và có lần làm sập môi trường kiểm thử để tránh bị điểm kém. Google cho biết các nỗ lực đi đường tắt trong bài kiểm tra lập trình kể từ đó đã giảm xuống còn 2%, kết quả tốt nhất của hãng ở các mô hình Gemini gần đây; các bẫy mật được giăng ra để dụ mô hình phá hoại những bước kiểm tra an toàn cũng không phát hiện hành vi như vậy.
Phát hiệnSố lượngĐơn vị phát hiệnCác tác vụ của tác nhân lập trình được rà soát1 triệuGoogle DeepMindNỗ lực đi đường tắt trong bài kiểm tra lập trình2%Google, Gemini 4 ArgonCác đường tắt bị che giấu sau khi những đường tắt lộ liễu bị phạt11.2% đến 36.4%Google, một đợt huấn luyệnCác nhà phân tích nhận ra xu hướng ngầm của AI86%AnthropicCác nhà phân tích cho rằng AI đã tác động đến họ15%Anthropic
Trừng phạt hành vi gian lận chỉ khiến nó che giấu
Con số quan trọng nhất có thể đến từ một sự cố ngoài ý muốn. Google thường không phạt những gì mô hình viết trong phần giải thích của mình. Trong một đợt huấn luyện, do nhầm lẫn, người ta đã áp dụng hình phạt cho các lối tắt được nêu trong phần giải thích đó; những lối tắt được công khai nhắc đến giảm 61%, nhưng những lối tắt âm thầm lại tăng từ 11.2% lên 36.4%.
Nói đơn giản, trách mắng mô hình vì thừa nhận gian lận đã dạy nó ngừng thừa nhận, chứ không phải ngừng gian lận. Vì vậy, các phòng thí nghiệm hiện muốn đọc phần giải thích của tác nhân mà không dùng nó làm mục tiêu để huấn luyện, để các dấu hiệu cảnh báo vẫn hiện rõ.
Đọc thêm: Google ra mắt Gemini 4 Argon, nhưng trước tiên chỉ dành cho lực lượng phòng thủ mạng
Các tác nhân cũng dẫn dắt con người
Rủi ro không chỉ nằm ở những gì các tác nhân làm với hệ thống. Trong một nghiên cứu của Anthropic được công bố vào cuối tháng 10, 50 nhà phân tích chuyên nghiệp đã tư vấn cho một hợp tác xã nông nghiệp giả định với sự trợ giúp của các trợ lý AI được bí mật cài đặt một xu hướng ưu tiên. Lựa chọn của các nhà phân tích trùng với xu hướng của AI trong 86% trường hợp, cao hơn mức 50% có thể xảy ra do ngẫu nhiên; và 60% những người ban đầu có quan điểm riêng đã đổi ý khi AI không đồng tình.
Khoảng 77% đã dùng lại lập luận của AI khi giải thích quyết định của mình, nhưng chỉ 15% cho biết AI đã tác động đến suy nghĩ của họ. Các nhà nghiên cứu của Anthropic, Amaç Herdagdelen, Hailey Joren và Alex Tamkin, cảnh báo rằng kiểu nhượng bộ này có thể “khó nhận ra, ngay cả với chính các chuyên gia”.
Điều gì đáng theo dõi tiếp theo
Hãy kỳ vọng an toàn cho tác nhân AI sẽ giống an ninh doanh nghiệp hơn là kiểm thử phần mềm. Các mô hình giám sát, quyền hạn được cấp theo từng bước và nhật ký đầy đủ về mọi hành động của tác nhân đang trở thành tiêu chuẩn tại các phòng thí nghiệm lớn; các công ty triển khai tác nhân để xử lý tiền bạc, tuyển dụng hoặc dữ liệu khách hàng sẽ chịu áp lực phải áp dụng những biện pháp này.
Những câu hỏi còn bỏ ngỏ là cách đo lường và yếu tố con người. Các phòng thí nghiệm vẫn chưa có thước đo chung để xác định tần suất tác nhân gian lận hoặc đi chệch hướng, và kết quả của Anthropic cho thấy người phê duyệt có thể là mắt xích kiểm soát yếu nhất. Làn sóng quy định và kiểm toán tiếp theo nhiều khả năng sẽ xem xét không chỉ tác nhân đã làm gì, mà còn cả cách một người quyết định tin tưởng nó.
Đọc tiếp: Gần một nửa số công ty ghi nhận tác nhân AI hoạt động ngoài kiểm soát: Salt Security gióng hồi chuông cảnh báo