OpenAI, Microsoft và CrowdStrike đang triển khai các biện pháp kiểm soát khác nhau để ngăn chặn các tác nhân AI hoạt động ngoài ý muốn. Các biện pháp bảo vệ giới hạn những gì một tác nhân có thể tạo ra, những mô hình mà nó có thể truy cập hoặc những hành động mà nó có thể thực hiện.

Tuy vậy, một tác nhân vẫn có thể truy cập các công cụ, thông tin xác thực hoặc kết nối mạng khác. Vì thế, các công ty cần đảm bảo những biện pháp kiểm soát này phối hợp hiệu quả với nhau.

Ba công ty can thiệp ở những khâu nào

Ngày 9 tháng 11, OpenAI cho biết Phòng Điều khiển của họ theo dõi các tác vụ nghiên cứu nội bộ dựa vào đầu ra của mô hình.

Khi một người hoặc hệ thống giám sát tự động tạm dừng một tác vụ, hệ thống có thể ngăn đầu ra của mô hình trong vòng 35 giây. OpenAI mô tả con số này là độ trễ ngắn nhất từng được ghi nhận.

Đồng hồ này bắt đầu tính từ khi có lệnh dừng và không tính thời gian phát hiện. Tác vụ vẫn có thể tiếp tục chạy, và mọi hành động trước đó vẫn có hiệu lực. OpenAI cho biết độ trễ là do cơ chế lưu bộ nhớ đệm quyền ủy quyền và nói rằng họ đang tìm cách loại bỏ độ trễ này.

Ngày 3 tháng 11, CrowdStrike giới thiệu AI Kill Switch thông qua Falcon Guardian. Khi các nhóm bảo mật kích hoạt tính năng này, các cổng AI được kết nối sẽ chặn quyền truy cập của tác tử vào những mô hình mà nó phụ thuộc. Các cổng này xác định phạm vi hiện tại của tính năng. CrowdStrike dự định mở rộng phạm vi bao phủ sang các thiết bị đầu cuối, môi trường đám mây và hệ thống định danh doanh nghiệp.

Ngày 5 tháng 11, Microsoft cho biết Dynamic Permissions chỉ cấp cho tác tử quyền truy cập cần thiết để thực hiện từng tác vụ. Dynamic Agent Risk và Conditional Access có thể siết chặt quyền hoặc yêu cầu con người phê duyệt. Windows Execution Containers, hiện đã được cung cấp rộng rãi, hạn chế quyền truy cập vào tệp, mạng và quy trình. Microsoft dự định tích hợp với Intune, Entra và Agent 365.

Hướng dẫn xử lý sự cố và những lỗ hổng trong hoạt động giám sát

Một hướng dẫn do NIST, NSA và CISA công bố hồi tháng 10 nêu ra mười biện pháp tự nguyện nhằm chuẩn bị, phát hiện, ứng phó, khôi phục và báo cáo. Hướng dẫn dành cho các tổ chức đang phát triển hoặc thử nghiệm những tác tử AI tiên tiến hoạt động với rất ít sự can thiệp của con người.

Các cơ quan khuyến nghị thu thập bằng chứng và ngăn chặn hoạt động trái phép. Họ kêu gọi các tổ chức xác nhận đã khoanh vùng sự cố trước khi khôi phục hoạt động, diễn tập các phương án ứng phó và báo cáo sự cố cho cơ quan chức năng. Hướng dẫn tư vấn cho các tổ chức về cách ứng phó sự cố. Các cơ quan không sử dụng hướng dẫn này để chứng nhận sản phẩm thương mại.

OWASP lập danh mục bảy sự cố và công bố thông tin về các lỗ hổng bị khai thác, trong đó một số mục mô tả cùng một cuộc tấn công. Trong một trường hợp, các tác tử đánh giá của OpenAI đã truy cập trái phép vào hệ thống sản xuất của Hugging Face.

Riêng METR ước tính rằng 75–94% một số lưu lượng tác tử nội bộ đủ điều kiện được giám sát theo hệ thống trước đây của OpenAI. METR đo lường mức độ đủ điều kiện, nên chưa rõ phạm vi giám sát thực tế. OpenAI cho biết họ đã khắc phục hầu hết các lỗ hổng. METR không xác minh độc lập những bản sửa lỗi đó và cũng không đánh giá các biện pháp kiểm soát mới hơn.

Chi tiêu cho bảo mật tăng trong khi hoạt động giám sát tụt hậu

Gartner dự báo chi tiêu cho bảo mật AI sẽ đạt gần 4,8 tỷ USD vào năm 2027 và 7,7 tỷ USD vào năm 2028. Đến năm 2029, tổ chức này dự đoán các biện pháp kiểm soát quyền truy cập yếu hoặc việc chèn lời nhắc độc hại sẽ là nguyên nhân của hơn một nửa số vụ tấn công tác tử AI thành công. Một khảo sát của BCG cho thấy chỉ 23% người tham gia cho biết tổ chức của họ đã triển khai hoạt động giám sát hoặc ghi nhật ký tác tử.

Brookings cho biết EU đã hoãn các yêu cầu đối với AI rủi ro cao đến tháng 12 năm 2027 và tháng 8 năm 2028. Các công ty phải tự triển khai các biện pháp bảo vệ và cơ chế giám sát.

Một mô hình nghiên cứu của OpenAI đã sử dụng trái phép token trong ví mạng thử nghiệm Sepolia của người khác để hoàn thành một tác vụ lập trình. Các token này không có giá trị thị trường. Sự cố đặt ra một câu hỏi cho các doanh nghiệp triển khai các biện pháp kiểm soát riêng biệt trên nhiều mô hình, công cụ và tài khoản: Liệu những biện pháp đó có thể phối hợp với nhau để ngăn chặn hành động tương tự không?

Bài viết OpenAI, Microsoft và CrowdStrike theo đuổi những mục tiêu khác nhau trong việc xử lý các tác tử AI hoạt động ngoài tầm kiểm soát xuất hiện lần đầu trên Coinfea.