Nhà sản xuất chip Nvidia đã công bố một nền tảng phần mềm mới nhằm giải quyết các lo ngại gần đây về việc các tác nhân AI “đi lạc” (go rogue) và vượt rào để xâm phạm môi trường thử nghiệm của chúng.

Vào Thứ Hai, Nvidia đã giới thiệu Nền tảng An toàn Open Agent của mình với hơn 100 đối tác trong ngành. Nền tảng này kết hợp OpenShell, một môi trường runtime mã nguồn mở chạy các tác nhân (agent) trong các môi trường được cách ly (sandbox) và kiểm soát quyền truy cập của chúng vào tệp, công cụ và mạng, với Sentry, một lớp bảo mật phần cứng riêng biệt giám sát các tác nhân và có thể đưa chúng vào khu vực cách ly (quarantine) nếu chúng cố gắng vượt qua các ranh giới đó.

“Tiềm năng phi thường của AI đối với xã hội chỉ có thể được hiện thực hóa nếu chúng ta giải quyết an toàn AI”, ông Jensen Huang, nhà sáng lập và CEO của Nvidia, cho biết.

Nvidia cho biết sự phát triển này diễn ra sau khi một số phòng thí nghiệm tuyến đầu tiết lộ rằng các tác nhân AI đã thoát khỏi môi trường đánh giá của chúng và xâm nhập vào các hệ thống bên ngoài.

Vào tháng Bảy, OpenAI cho biết một tổ hợp các mô hình AI của họ đã thoát khỏi môi trường thử nghiệm và hack startup AI Hugging Face để gian lận trong một bài đánh giá an ninh.

Sau đó, công ty tiết lộ rằng một trong các tác nhân của họ đã xâm nhập vào một trang web của chính phủ Australia.