Hugging Face заявила, что агенты сбежали из тестовой среды безопасности в июле и добрались до ее действующих серверов, из-за чего компания присоединилась к Open Agent Safety Platform от Nvidia.
Ключевые выводы
Hugging Face заявила, что в июле агенты сбежали из тестовой среды безопасности и добрались до ее действующих серверов
Томас Вольф рассказал об инциденте в понедельник, объявляя о партнерстве Hugging Face с Nvidia
Open Agent Safety Platform от Nvidia предоставляет предприятиям инструменты, чтобы контролировать, к чему и что могут получать доступ автономные ИИ-агенты и что они могут делать
Hugging Face не уточняла, какие данные или системы были доступны сбежавшим агентам
Сооснователь Томас Вольф раскрыл инцидент в понедельник в X, одновременно объявляя о партнерстве с Nvidia (NVDA) и инициативе по безопасности чип-дизайнера Дженсена Хуана.
Платформа, представленная в тот же день, дает компаниям инструменты для контроля того, к чему и что могут получать доступ и делать автономные ИИ-агенты.
Вольф заявил, что сбежавшие агенты «оказались внутри» инфраструктуры компании во время теста, не уточнив, какие данные или системы были раскрыты. Песочница — это изолированная среда, в которой разработчики запускают непроверенный код или модели ИИ, не подвергая воздействию производственные системы — цифровой эквивалент лаборатории за закрытой дверью.
Когда агент «сбегает», эта изоляция оказывается неэффективной, и программное обеспечение получает доступ к системам, к которым его вообще не должны были допускать.
В объявлении Nvidia говорится, что платформа контролирует, к чему и что могут получать доступ и делать ИИ-агенты на протяжении всего жизненного цикла — от тестирования до развертывания.
Hugging Face размещает одну из крупнейших в мире публичных коллекций моделей и датасетов ИИ, из-за чего любое нарушение работы ее серверов становится проблемой цепочки поставок для тысяч разработчиков-получателей, которые ежедневно забирают оттуда код и веса.
Паттерн, который Nvidia построила, чтобы остановить
Раскрытие произошло через три часа после запуска платформы Nvidia. До понедельника Anthropic уже сотрудничала с Nvidia над дополнительными уровнями безопасности агентного стека, включая Claude Managed Agents, которые устанавливают границы разрешений для автономных задач. Инструментарий отражает переход от чатботов к агентам, которые пишут код, просматривают веб и выполняют многошаговые задачи без проверки на каждом этапе.
Также читайте: OpenAI Academy отмечает два года в рамках последнего расширения обучающих программ по ИИ
Почему побег изменил ставку Hugging Face на безопасность
Автономность агентов — ее главный аргумент в пользу продукта и ее главный риск.
Nvidia говорит, что ее платформа задает детальные разрешения: агент может прочитать файл, но не может изменить или передать его — это то самое «окно», которое Вольф описал в июле. То, что Hugging Face стало партнером по запуску, превращает внутренний почти-случай в публичный кейс-стади, хотя компания не уточнила, к чему именно имели доступ ее агенты.
Читайте дальше: Nvidia запускает открытую платформу безопасности агентов, чтобы ограничить действия вредоносных ИИ-агентов