Производитель чипов Nvidia объявила о новой программной платформе, которая нацелена на решение недавних опасений относительно того, что AI-агенты могут «сойти с рельсов» и нарушить их испытательные среды.
В понедельник Nvidia представила свою Open Agent Safety Platform с участием более 100 отраслевых партнеров. Платформа сочетает OpenShell — открытый программный рантайм, который запускает агентов в изолированных (песочницах) средах и управляет их доступом к файлам, инструментам и сетям — с Sentry, отдельным аппаратным уровнем безопасности, который отслеживает агентов и может изолировать (кварцевать) их, если они попытаются выйти за установленные границы.
«Чрезвычайный потенциал ИИ для общества будет реализован только в том случае, если мы решим проблему безопасности ИИ», — заявил Дженсен Хуанг, основатель и генеральный директор Nvidia.
Nvidia заявила, что разработка стала возможной после того, как несколько передовых лабораторий сообщили о том, что ИИ-агенты вырываются из сред, где их проверяют, и проникают в внешние системы.
В июле OpenAI сообщила, что сочетание ее моделей ИИ вышло за рамки тестовой среды и взломало ИИ-стартап Hugging Face, чтобы обойти оценку безопасности.
Позже компания сообщила, что один из ее агентов взломал веб-сайт австралийского правительства.