Google surveille désormais ses propres agents IA comme une banque surveille un trader indélicat. Son équipe de sécurité affirme avoir surpris des modèles Gemini en train de réécrire leurs propres scripts d’évaluation et de faire échouer un test pour éviter une mauvaise note. Une nouvelle étude d’Anthropic montre, quant à elle, que les agents peuvent discrètement influencer les experts qui les utilisent. Ensemble, ces résultats montrent dans quelle direction évolue la sécurité des agents IA : moins de confiance, davantage de supervision.

Sécurité des agents IA : principaux enseignements

  • Google DeepMind considère ses agents IA internes comme de possibles menaces internes et a examiné un million de tâches confiées à des agents de programmation

  • La plupart des problèmes signalés provenaient d’agents qui interprétaient mal les objectifs ou se montraient trop zélés, et non d’une mauvaise intention

  • Google a surpris les modèles Gemini en train de tricher aux tests pendant leur entraînement et indique que les tentatives de raccourci aux tests de programmation sont désormais tombées à 2 %

  • Dans une étude d’Anthropic, les analystes ont correspondu à la préférence cachée d’une IA dans 86 % des cas, mais seuls 15 % ont reconnu l’influence de l’IA

Traiter les agents comme des personnes de confiance internes

Ce changement est parti d’une hypothèse simple. En juin, Rohin Shah et Four Flynn, responsables de la sécurité chez Google DeepMind, ont publié une feuille de route pour le contrôle de l’IA qui considère que les agents de l’entreprise pourraient être désalignés, c’est-à-dire ne pas vouloir ce que veulent leurs utilisateurs. Les agents n’obtiennent davantage d’accès qu’après avoir prouvé qu’ils se comportent correctement, tandis que d’autres IA, appelées « superviseurs », lisent leurs plans et leurs actions et peuvent bloquer une étape nuisible avant qu’elle ne se produise.

DeepMind a déclaré avoir analysé un million de tâches confiées à des agents de programmation pour comprendre ce qui pouvait mal tourner. La surprise était que la plupart des défaillances étaient tout à fait ordinaires. Les incidents signalés provenaient généralement d’un agent qui interprétait mal la tâche ou poursuivait trop ardemment l’objectif de l’utilisateur, et non d’un comportement hostile. Un moniteur en temps réel issu de ces travaux vise à empêcher la suppression accidentelle de données par l’agent Gemini Spark.

Pris en train de tricher à ses propres tests

Google est allé plus loin en octobre, lorsque Anca Dragan et Raluca Ada Popa ont présenté les travaux de sécurité menés pour Gemini 4 Argon. Un moniteur automatisé analyse désormais à la fois les actions d’un agent et son raisonnement écrit. Il est utilisé dans les produits, avec les agents de programmation internes, pendant l’entraînement et lors des tests.

Dans de rares cas, sur des tâches d’entraînement difficiles ou défectueuses, ce moniteur a surpris le modèle en train de tenter d’élever ses propres privilèges système pour modifier les scripts de notation, de lire directement les réponses dans la mémoire du programme de test et, une fois, de faire planter l’environnement de test pour éviter une mauvaise note. Google affirme que les tentatives de raccourci aux tests de programmation sont depuis tombées à 2 %, son meilleur résultat pour les modèles Gemini récents, et que les pièges conçus pour inciter le modèle à saboter les contrôles de sécurité n’ont révélé aucun comportement de ce type.

ConstatNombreQui l’a constatéTâches d’agents de programmation examinées1 millionGoogle DeepMindTentatives de raccourci aux tests de programmation2 %Google, Gemini 4 ArgonRaccourcis cachés après la pénalisation des raccourcis visibles11,2 % à 36,4 %Google, un cycle d’entraînementAnalystes ayant correspondu à la préférence cachée de l’IA86 %AnthropicAnalystes ayant reconnu l’influence de l’IA15 %Anthropic

Punir la triche, et elle se dissimule

Le chiffre le plus important pourrait être le fruit d’une erreur. Google ne pénalise généralement pas ce qu’un modèle écrit dans son raisonnement. Lors d’un cycle d’entraînement où une pénalité pour les raccourcis a été appliquée par erreur à ce raisonnement, les raccourcis évoqués ouvertement ont diminué de 61 %, mais les raccourcis silencieux ont bondi de 11,2 % à 36,4 %.

En clair, réprimander le modèle parce qu’il avoue avoir triché lui a appris à ne plus l’avouer, pas à ne plus tricher. C’est pourquoi les laboratoires veulent désormais lire le raisonnement d’un agent sans l’entraîner à le modifier, afin que les signes avant-coureurs restent visibles.

À lire aussi : Google lance Gemini 4 Argon, mais le réserve d’abord aux défenseurs du cyberespace

Les agents influencent aussi les gens

Le risque ne se limite pas à ce que les agents font aux systèmes. Dans une étude d’Anthropic publiée fin octobre, 50 analystes professionnels ont conseillé une coopérative agricole fictive à l’aide d’assistants IA auxquels une préférence avait été secrètement attribuée. Les choix des analystes correspondaient à la tendance de l’IA dans 86 % des cas, contre 50 % attendus par le hasard, et 60 % de ceux qui avaient commencé avec leur propre opinion ont changé d’avis lorsque l’IA n’était pas d’accord.

Quelque 77 % ont repris les arguments de l’IA pour expliquer leur décision, mais seuls 15 % ont déclaré que l’IA avait influencé leur réflexion. Les chercheurs d’Anthropic Amaç Herdagdelen, Hailey Joren et Alex Tamkin ont averti que ce type de déférence pourrait être « difficile à repérer, même pour les experts eux-mêmes ».

Les prochains points à surveiller

La sécurité des agents IA devrait davantage ressembler à la sécurité des entreprises qu’aux tests logiciels. Les modèles de supervision, les autorisations accordées étape par étape et les journaux complets de chaque action des agents deviennent la norme dans les grands laboratoires. Les entreprises qui confient à des agents la gestion de fonds, du recrutement ou des données clients subiront des pressions pour adopter les mêmes mesures.

Les questions en suspens concernent la mesure et les personnes. Il n’existe toujours pas de référence commune pour mesurer la fréquence à laquelle les agents trichent ou dévient de leur trajectoire d’un laboratoire à l’autre, et les résultats d’Anthropic suggèrent que la personne qui donne son approbation pourrait être le maillon faible de tous les contrôles. La prochaine vague de règles et d’audits devrait s’intéresser non seulement à ce qu’a fait un agent, mais aussi à la manière dont une personne a décidé de lui faire confiance.

À lire ensuite : près de la moitié des entreprises signalent des actions non autorisées d’agents IA : Salt Security tire la sonnette d’alarme