Les agents d’IA peuvent être dupés par les données qu’ils lisent

Une page Web ou un document peut contenir des instructions cachées qui demandent à un agent d’IA d’ignorer sa tâche ou de divulguer des informations.

OpenAI décrit ce phénomène comme une injection de prompt : un texte non fiable tente de remplacer les instructions prévues pour un agent et peut influencer les outils auxquels il est connecté. Pour renforcer la sécurité, il faut séparer le texte externe des instructions privilégiées, limiter chaque agent aux données et aux outils dont il a besoin, contraindre les résultats intermédiaires à respecter un schéma et exiger l’approbation d’un humain pour les actions ayant des conséquences importantes. Ces mesures réduisent les risques, mais ne rendent pas les agents infaillibles : OpenAI avertit qu’ils peuvent toujours être dupés.

Ce que j’en retiens : ne donnez pas un accès étendu à un agent d’IA simplement parce que son prompt semble prudent. Quelles actions devraient toujours nécessiter une vérification humaine ?

Source : OpenAI, « Sécurité dans la création d’agents » — https://developers.openai.com/api/docs/guides/agent-builder-safety

#AI #AIAgents #Cybersécurité