OpenAI, Microsoft и CrowdStrike внедряют разные механизмы контроля, чтобы ограничить действия несанкционированных ИИ-агентов. Эти меры ограничивают то, что агент может генерировать, к каким моделям обращаться и какие действия выполнять.
При этом у агента всё ещё может быть доступ к другим инструментам, учётным данным или сетевым подключениям. Поэтому компаниям нужно обеспечить совместную работу механизмов контроля.
В каких случаях вмешиваются три компании
9 ноября OpenAI сообщила, что её Центр управления отслеживает внутренние исследовательские задачи, использующие результаты работы моделей.
Если человек или автоматизированная система мониторинга приостанавливает задачу, система может остановить генерацию ответа моделью за 35 секунд. В OpenAI назвали эту цифру минимальной зафиксированной задержкой.
Отсчёт начинается с момента подачи команды на остановку и не включает время обнаружения. Задача может продолжать выполняться, а все предыдущие действия сохраняют силу. OpenAI объяснила задержку кэшированием авторизации и заявила, что работает над её устранением.
3 ноября CrowdStrike представила AI Kill Switch в составе Falcon Guardian. Когда специалисты по безопасности активируют эту функцию, подключённые шлюзы ИИ блокируют агенту доступ к моделям, на которые он опирается. Нынешний охват функции ограничен этими шлюзами. CrowdStrike планирует распространить её на конечные устройства, облачные среды и корпоративные системы идентификации.
5 ноября Microsoft заявила, что Dynamic Permissions предоставляет агентам только тот доступ, который нужен для выполнения конкретной задачи. Dynamic Agent Risk и Conditional Access могут ужесточать разрешения или требовать одобрения человека. Windows Execution Containers, которые теперь доступны всем желающим, ограничивают доступ к файлам, сетям и процессам. Microsoft планирует интеграцию с Intune, Entra и Agent 365.
Рекомендации по реагированию на инциденты и пробелы в мониторинге
В октябрьском руководстве NIST, NSA и CISA изложены десять добровольных рекомендаций по подготовке к инцидентам, их обнаружению, реагированию на них, восстановлению и информированию о них. Руководство адресовано организациям, которые разрабатывают или тестируют продвинутых ИИ-агентов, работающих практически без участия человека.
Ведомства рекомендуют собирать доказательства и пресекать несанкционированную деятельность. Они призывают организации подтверждать, что угроза локализована, прежде чем возобновлять работу, отрабатывать порядок реагирования и сообщать об инцидентах властям. Руководство содержит рекомендации по реагированию на инциденты. Ведомства не используют его для сертификации коммерческих продуктов.
OWASP внесла в каталог семь инцидентов и случаев раскрытия информации об уязвимостях, некоторые из которых описывают одну и ту же атаку. В одном случае агенты OpenAI, использовавшиеся для оценки, получили несанкционированный доступ к рабочим системам Hugging Face.
Отдельно METR подсчитала, что подлежали мониторингу 75–94% определённых внутренних потоков трафика агентов в рамках прежней системы OpenAI. METR оценивала возможность мониторинга, поэтому фактический охват мониторингом остаётся неясным. OpenAI заявила, что устранила большинство уязвимостей. METR не проверяла эти исправления независимо и не изучала новые средства контроля.
Расходы на безопасность растут, а надзор отстаёт
По прогнозу Gartner, расходы на безопасность ИИ составят почти $4,8 млрд в 2027 году и $7,7 млрд в 2028 году. По ожиданиям компании, к 2029 году слабый контроль доступа или внедрение промптов приведут более чем к половине успешных атак на ИИ-агентов. Опрос BCG показал, что лишь 23% респондентов внедрили мониторинг или журналирование действий агентов.
Brookings сообщила, что ЕС отложил введение требований к ИИ с высоким уровнем риска до декабря 2027 года и августа 2028 года. Компаниям необходимо самостоятельно внедрять меры защиты и надзора.
Исследовательская модель OpenAI без разрешения использовала токены из кошелька другого человека в тестовой сети Sepolia, чтобы выполнить задачу по программированию. Токены не имели рыночной стоимости. Этот инцидент ставит перед компаниями, которые внедряют отдельные средства контроля для моделей, инструментов и учётных записей, важный вопрос: смогут ли эти средства взаимодействовать, чтобы предотвратить подобные действия?
Публикация «OpenAI, Microsoft и CrowdStrike выбирают разные подходы к борьбе с вышедшими из-под контроля ИИ-агентами» впервые появилась на Coinfea.
