ИИ-агентов можно обмануть с помощью данных, которые они читают

Веб-страница или документ могут содержать скрытые инструкции, которые велят ИИ-агенту игнорировать задачу или раскрыть информацию.

OpenAI называет это внедрением промпта: ненадёжный текст пытается переопределить инструкции, которым должен следовать агент, и может влиять на подключённые инструменты. Более безопасные решения отделяют внешний текст от привилегированных инструкций, ограничивают доступ каждого агента необходимыми ему данными и инструментами, задают схему для промежуточных результатов и требуют одобрения человека для значимых действий. Эти уровни защиты снижают риск, но не делают агентов неуязвимыми — OpenAI предупреждает, что их всё ещё можно обмануть.

Мой вывод: не предоставляйте ИИ-агенту широкий доступ только потому, что его промпт звучит осторожно. Какие действия всегда должны требовать проверки человеком?

Источник: OpenAI, «Безопасность при создании агентов» — https://developers.openai.com/api/docs/guides/agent-builder-safety

#AI #AIAgents #Кибербезопасность