Думаете, что просто установили навык для ИИ-агента, а на деле, возможно, заодно отключили и проверку человеком.
Исследование публичных репозиториев GitHub проанализировало около 1,53 млн навыков англоязычных агентов и обнаружило, что примерно 88 000 из них содержат инструкции, которые могут обходить проверку человеком.
Иными словами, такие инструкции есть примерно в каждом 17-м навыке.
Особенно настораживает следующее:
70.1% таких инструкций не учитывают контекст использования.
Например:
* Выполняй и отправляй результат без подтверждения.
* Не задавай вопросов в процессе, продолжай, пока задача не будет выполнена.
* Автоматически выполняй все шаги, не привлекая человека.
Если такие инструкции добавить в SKILL.md, агент, загрузивший навык, может действовать самостоятельно в ситуациях, где обычно требуется подтверждение человека.
Хуже того, существующие сканеры безопасности могут их не обнаружить.
В исследовании протестировали два сканера с открытым исходным кодом — от Cisco и NVIDIA. Даже при использовании GPT-5.4 максимальная полнота обнаружения составила всего 46%, а точность не достигла 0.4.
Но стоило задать вопрос иначе — и результаты заметно изменились:
Вместо вопроса «Является ли эта инструкция вредоносной?» модель спрашивали: «Обходит ли она проверку человеком?». Полнота обнаружения выросла до 61%, а точность достигла 0.71.
Это указывает на одну проблему:
При проверке безопасности агентов нельзя сосредоточиваться только на вредоносном коде — нужно также проверять инструкции, которые на первый взгляд лишь повышают эффективность автоматизации.
Рекомендации исследователей тоже вполне конкретны:
1. Чётко ограничивайте область действия инструкций для автоматического выполнения — например, разрешайте их только в среде CI.
2. При проверке навыков в первую очередь выясняйте, обходят ли они подтверждение человека, а не просто ищите вредоносный код.
3. Не позволяйте одной безусловной инструкции определять поведение агента во всех ситуациях.
Агенты становятся всё способнее, а их полномочия — всё шире.
Но нельзя считать, что подтверждение человека больше не нужно на каком-то этапе, только потому, что в инструкции написано: «Продолжай, пока всё не будет готово».
По-настоящему надёжная автоматизация не отменяет все проверки, а понимает, когда нужно остановиться и спросить человека.
Исследование публичных репозиториев GitHub проанализировало около 1,53 млн навыков англоязычных агентов и обнаружило, что примерно 88 000 из них содержат инструкции, которые могут обходить проверку человеком.
Иными словами, такие инструкции есть примерно в каждом 17-м навыке.
Особенно настораживает следующее:
70.1% таких инструкций не учитывают контекст использования.
Например:
* Выполняй и отправляй результат без подтверждения.
* Не задавай вопросов в процессе, продолжай, пока задача не будет выполнена.
* Автоматически выполняй все шаги, не привлекая человека.
Если такие инструкции добавить в SKILL.md, агент, загрузивший навык, может действовать самостоятельно в ситуациях, где обычно требуется подтверждение человека.
Хуже того, существующие сканеры безопасности могут их не обнаружить.
В исследовании протестировали два сканера с открытым исходным кодом — от Cisco и NVIDIA. Даже при использовании GPT-5.4 максимальная полнота обнаружения составила всего 46%, а точность не достигла 0.4.
Но стоило задать вопрос иначе — и результаты заметно изменились:
Вместо вопроса «Является ли эта инструкция вредоносной?» модель спрашивали: «Обходит ли она проверку человеком?». Полнота обнаружения выросла до 61%, а точность достигла 0.71.
Это указывает на одну проблему:
При проверке безопасности агентов нельзя сосредоточиваться только на вредоносном коде — нужно также проверять инструкции, которые на первый взгляд лишь повышают эффективность автоматизации.
Рекомендации исследователей тоже вполне конкретны:
1. Чётко ограничивайте область действия инструкций для автоматического выполнения — например, разрешайте их только в среде CI.
2. При проверке навыков в первую очередь выясняйте, обходят ли они подтверждение человека, а не просто ищите вредоносный код.
3. Не позволяйте одной безусловной инструкции определять поведение агента во всех ситуациях.
Агенты становятся всё способнее, а их полномочия — всё шире.
Но нельзя считать, что подтверждение человека больше не нужно на каком-то этапе, только потому, что в инструкции написано: «Продолжай, пока всё не будет готово».
По-настоящему надёжная автоматизация не отменяет все проверки, а понимает, когда нужно остановиться и спросить человека.