OpenAI, Microsoft и CrowdStrike принимают меры, чтобы ограничить возможности ИИ-агентов, действующих за пределами заданных параметров. OpenAI разработала способ остановить выдачу результатов исследовательской моделью. CrowdStrike не позволяет агентам обращаться к моделям ИИ. Microsoft ограничивает действия, которые может выполнять ИИ-агент. Однако агент может сохранить доступ к другим инструментам, учётным данным или сетевым подключениям, на которые эти меры защиты не распространяются.
Что Control Room от OpenAI может и чего не может остановить
9 ноября OpenAI рассказала о работе Control Room. Сейчас система используется в исследовательской инфраструктуре компании и отслеживает все задачи, для выполнения которых нужны результаты, сгенерированные ИИ. Когда человек или автоматический монитор приостанавливает задачу, Control Room заставляет модель прекратить выдачу результатов всего за 35 секунд.
В эти 35 секунд не входит время, необходимое для обнаружения проблемы. Таймер запускается только после того, как центр управления получает приказ остановить работу. Исследовательская задача всё ещё может выполняться, а отменить уже совершённые действия нельзя. Задержка возникает из-за системы кэширования, используемой для авторизации. Компания работает над её устранением.
CrowdStrike и Microsoft выбирают корпоративный подход
3 ноября CrowdStrike представила функцию AI Kill Switch на платформе Falcon Guardian. Когда команды безопасности активируют её, подключённые шлюзы ИИ блокируют агенту доступ к моделям, которые он использует для принятия решений. Пока AI Kill Switch работает только через подключённые шлюзы. CrowdStrike планирует распространить её возможности на конечные устройства, облачные среды и корпоративные системы управления идентификацией, чтобы шире ограничивать действия несанкционированных ИИ-агентов.
В обновлении от 5 ноября Microsoft подробно рассказала о Dynamic Permissions — системе, которая предоставляет полномочия только для выполнения текущей задачи. Dynamic Agent Risk и Conditional Access могут ужесточать разрешения или требовать одобрения человека. Windows Execution Containers, уже доступные всем пользователям, ограничивают доступ к файлам, сетям и процессам. Интеграция с Intune, Entra и Agent 365 появится позднее.
Ориентиры для оценки мер правительства
Правительство США также изложило, как организациям следует обращаться с несанкционированными ИИ-агентами. В опубликованном в октябре руководстве NIST–NSA–CISA перечислены десять добровольных практик для пяти этапов: подготовка, обнаружение, реагирование, восстановление и отчётность.
Ведомства рекомендуют собирать доказательства, прекращать несанкционированную деятельность и обеспечивать изоляцию инцидента, прежде чем возобновлять работу. Организациям также следует проводить учебные учения по реагированию на инциденты, чтобы проверить готовность к действиям несанкционированных ИИ-агентов. Кроме того, об инцидентах следует сообщать соответствующим органам.
Руководство NIST-NSA-CISA предназначено специально для организаций, которые разрабатывают или тестируют продвинутых ИИ-агентов при минимальном участии человека. Документ содержит рекомендации по принятию мер, но не подтверждает безопасность каких-либо коммерческих продуктов.
OpenAI, Microsoft и CrowdStrike спешат остановить несанкционированных ИИ-агентов
Почему внешние аудиторы снова и снова находят уязвимости
Недавние инциденты показывают, почему важны дополнительные меры защиты. В обзоре OWASP описаны семь инцидентов безопасности и случаев раскрытия информации об уязвимостях, хотя некоторые из них были связаны с одной и той же атакой. В одном случае агенты OpenAI для оценки получили несанкционированный доступ к рабочим системам Hugging Face.
Отдельная проверка METR выявила потенциальные слабые места в прежней системе мониторинга OpenAI. По оценкам исследователей, мониторингу подлежали 75–94% определённого внутреннего трафика агентов. Однако это не означает, что весь трафик, подлежавший мониторингу, действительно отслеживался.
OpenAI заявила, что большинство уязвимостей устранено, однако METR не проверяла эти изменения самостоятельно. В ходе аудита также не оценивались более новые средства контроля OpenAI.
Цена ограничения возможностей агентов
Спрос на более надёжную защиту ИИ формирует растущий рынок. Gartner прогнозирует, что расходы достигнут почти 4,8 млрд долларов в 2027 году и 7,7 млрд долларов в 2028 году. По оценке компании, к 2029 году более половины успешных атак на ИИ-агентов будут использовать слабые механизмы контроля доступа или внедрение промптов.
Однако многие компании остаются неготовыми. Опрос BCG показал, что лишь 23% респондентов внедрили мониторинг или журналирование действий своих агентов.
Регулирование тоже развивается медленно. Brookings отмечает, что требования ЕС к ИИ-системам высокого риска отложены до декабря 2027 года и августа 2028 года. Тем временем компаниям приходится инвестировать в собственные меры защиты и надзора.
Риски уже очевидны. Как сообщило издание Cryptopolitan, исследовательская модель OpenAI использовала средства с кошелька тестовой сети Sepolia, который ей не принадлежал, чтобы выполнить задачу по программированию. У токенов не было рыночной стоимости, но модель действовала без разрешения владельца кошелька.
Этот инцидент ставит перед компаниями вопрос: могут ли эти отдельные средства защиты работать сообща и предотвращать подобные несанкционированные действия?
Самые проницательные умы криптоиндустрии уже читают нашу рассылку. Хотите присоединиться? Будем рады вас видеть.