Vous pensez avoir simplement ajouté une compétence à un agent d’IA, alors qu’en réalité, vous avez peut-être aussi supprimé au passage l’approbation humaine.
Une étude portant sur des dépôts publics GitHub a analysé environ 1,53 million de compétences d’agents en anglais et a découvert qu’environ 88 000 d’entre elles contenaient des instructions susceptibles de contourner les vérifications humaines.
En d’autres termes, environ 1 compétence sur 17 contient ce type d’instructions.
Ce qui est le plus préoccupant :
70,1 % de ces instructions ne tiennent pas compte du contexte d’utilisation.
Par exemple :
* Exécuter et envoyer directement, sans confirmation.
* Ne pas poser de questions en cours de route, continuer jusqu’à ce que la tâche soit terminée.
* Traiter automatiquement toutes les étapes, sans intervention humaine.
Si ces éléments sont inscrits dans SKILL.md, l’agent qui charge la compétence pourrait agir directement à des étapes où une confirmation humaine est normalement nécessaire.
Et le plus embêtant, c’est que les outils d’analyse de sécurité existants ne les détectent pas forcément.
L’étude a testé deux outils d’analyse open source de Cisco et NVIDIA. Même en faisant appel à GPT-5.4, leur taux de détection maximal n’atteignait que 46 %, avec une précision inférieure à 0,4.
Mais en posant la question autrement, les résultats sont nettement différents :
Au lieu de demander au modèle « S’agit-il d’une instruction malveillante ? », on lui demande « Contourne-t-elle les vérifications humaines ? ». Le taux de détection passe alors à 61 % et la précision atteint 0,71.
Cela met en évidence un problème :
L’examen de la sécurité des agents ne peut pas se limiter au code malveillant. Il faut aussi vérifier les instructions qui semblent simplement destinées à améliorer l’efficacité de l’automatisation.
Les recommandations de l’étude sont tout aussi directes :
1. Fixer des limites claires aux instructions d’exécution automatique, par exemple en ne les autorisant que dans un environnement d’intégration continue (CI).
2. Lors de l’examen des compétences, vérifier en priorité si elles contournent la confirmation humaine, au lieu de se contenter de rechercher du code malveillant.
3. Ne pas laisser une instruction inconditionnelle déterminer le comportement de l’agent dans toutes les situations.
Les agents sont de plus en plus capables, et leurs permissions ne cessent de s’étendre.
Mais certaines étapes ne peuvent pas être considérées comme dispensées de confirmation humaine simplement parce qu’une phrase dit de « continuer jusqu’au bout ».
Une automatisation vraiment fiable ne consiste pas à supprimer toutes les vérifications, mais à savoir quand il faut s’arrêter et demander à un humain.
Une étude portant sur des dépôts publics GitHub a analysé environ 1,53 million de compétences d’agents en anglais et a découvert qu’environ 88 000 d’entre elles contenaient des instructions susceptibles de contourner les vérifications humaines.
En d’autres termes, environ 1 compétence sur 17 contient ce type d’instructions.
Ce qui est le plus préoccupant :
70,1 % de ces instructions ne tiennent pas compte du contexte d’utilisation.
Par exemple :
* Exécuter et envoyer directement, sans confirmation.
* Ne pas poser de questions en cours de route, continuer jusqu’à ce que la tâche soit terminée.
* Traiter automatiquement toutes les étapes, sans intervention humaine.
Si ces éléments sont inscrits dans SKILL.md, l’agent qui charge la compétence pourrait agir directement à des étapes où une confirmation humaine est normalement nécessaire.
Et le plus embêtant, c’est que les outils d’analyse de sécurité existants ne les détectent pas forcément.
L’étude a testé deux outils d’analyse open source de Cisco et NVIDIA. Même en faisant appel à GPT-5.4, leur taux de détection maximal n’atteignait que 46 %, avec une précision inférieure à 0,4.
Mais en posant la question autrement, les résultats sont nettement différents :
Au lieu de demander au modèle « S’agit-il d’une instruction malveillante ? », on lui demande « Contourne-t-elle les vérifications humaines ? ». Le taux de détection passe alors à 61 % et la précision atteint 0,71.
Cela met en évidence un problème :
L’examen de la sécurité des agents ne peut pas se limiter au code malveillant. Il faut aussi vérifier les instructions qui semblent simplement destinées à améliorer l’efficacité de l’automatisation.
Les recommandations de l’étude sont tout aussi directes :
1. Fixer des limites claires aux instructions d’exécution automatique, par exemple en ne les autorisant que dans un environnement d’intégration continue (CI).
2. Lors de l’examen des compétences, vérifier en priorité si elles contournent la confirmation humaine, au lieu de se contenter de rechercher du code malveillant.
3. Ne pas laisser une instruction inconditionnelle déterminer le comportement de l’agent dans toutes les situations.
Les agents sont de plus en plus capables, et leurs permissions ne cessent de s’étendre.
Mais certaines étapes ne peuvent pas être considérées comme dispensées de confirmation humaine simplement parce qu’une phrase dit de « continuer jusqu’au bout ».
Une automatisation vraiment fiable ne consiste pas à supprimer toutes les vérifications, mais à savoir quand il faut s’arrêter et demander à un humain.