🧠 Des chercheurs de Microsoft montrent qu’un agent d’IA peut être piégé en modifiant moins de 10 neurones

Microsoft Research affirme qu’une technique qu’elle appelle Lazarus permet de reprogrammer moins de 10 neurones « dormants » peu actifs dans un modèle linguistique, sans réentraînement, afin qu’un déclencheur caché pousse un agent d’IA par ailleurs normal à émettre une commande de l’attaquant. Dans un exemple, dès que l’horloge passe à 2027, le modèle produit discrètement une commande qui télécharge et exécute le code de l’attaquant, que l’agent lance ensuite avec les accès dont il dispose. Le modèle modifié peut toujours réussir les évaluations standard. L’attaque nécessite un accès en écriture aux poids ; Microsoft recommande donc de traiter les points de contrôle comme du code et de les comparer à l’original.

⭐ Si quelques modifications des poids suffisent à dissimuler un piège dans un modèle fiable, les entreprises doivent vérifier la provenance des poids, et pas seulement la manière dont le modèle répond à un test.

#IA