OpenAI, Microsoft et CrowdStrike déploient différentes mesures de contrôle pour contenir les agents d’IA incontrôlables. Ces mesures limitent ce qu’un agent peut générer, les modèles auxquels il peut accéder ou les actions qu’il peut effectuer.
Un agent peut malgré tout avoir accès à d’autres outils, identifiants ou connexions réseau. Les entreprises doivent donc faire en sorte que ces mesures de contrôle fonctionnent ensemble.
Les domaines d’intervention des trois entreprises
Le 9 novembre, OpenAI a déclaré que son Control Room suit les tâches de recherche internes qui s’appuient sur les résultats des modèles.
Lorsqu’une personne ou un système de surveillance automatisé met une tâche en pause, le système peut interrompre la génération du modèle en 35 secondes. OpenAI a décrit ce délai comme le plus court observé.
Ce délai commence à courir à partir de l’ordre d’arrêt et exclut le temps de détection. La tâche peut continuer à s’exécuter, et toute action antérieure reste valable. OpenAI a attribué ce retard à la mise en cache des autorisations et a indiqué qu’elle travaillait à le supprimer.
CrowdStrike a lancé AI Kill Switch via Falcon Guardian le 3 novembre. Lorsque les équipes de sécurité l’activent, les passerelles d’IA connectées coupent l’accès d’un agent aux modèles dont il dépend. Ces passerelles définissent la portée actuelle de la fonctionnalité. CrowdStrike prévoit d’étendre sa couverture aux terminaux, aux environnements cloud et aux systèmes d’identité d’entreprise.
Microsoft a déclaré le 5 novembre que Dynamic Permissions n’accorde aux agents que les accès nécessaires à chaque tâche. Dynamic Agent Risk et Conditional Access peuvent renforcer les autorisations ou exiger une approbation humaine. Windows Execution Containers, désormais disponible de manière générale, restreint l’accès aux fichiers, aux réseaux et aux processus. Microsoft prévoit des intégrations avec Intune, Entra et Agent 365.
Consignes en cas d’incident et lacunes de la surveillance
Un guide publié en octobre par le NIST, la NSA et la CISA présente dix pratiques volontaires pour se préparer aux incidents, les détecter, y répondre, s’en remettre et les signaler. Il s’adresse aux organisations qui développent ou testent des agents d’IA avancés fonctionnant avec peu d’intervention humaine.
Les agences recommandent de recueillir des preuves et de mettre fin aux activités non autorisées. Elles exhortent les organisations à confirmer le confinement de l’incident avant de reprendre leurs activités, à répéter leurs interventions et à signaler les incidents aux autorités. Le guide conseille les organisations en matière de réponse aux incidents. Les agences ne s’en servent pas pour certifier des produits commerciaux.
OWASP a répertorié sept incidents et divulgations de failles, dont certains décrivent la même attaque. Dans un cas, des agents d’évaluation d’OpenAI ont obtenu un accès non autorisé aux systèmes de production de Hugging Face.
Par ailleurs, METR a estimé que 75–94 % de certains flux de trafic internes d’agents pouvaient faire l’objet d’une surveillance dans le cadre de l’ancien système d’OpenAI. METR a mesuré l’admissibilité à la surveillance, sans préciser la couverture réelle. OpenAI a déclaré avoir corrigé la plupart des vulnérabilités. METR n’a pas vérifié ces correctifs de manière indépendante ni examiné les contrôles plus récents.
Les dépenses de sécurité augmentent tandis que la supervision prend du retard
Gartner prévoit des dépenses en sécurité de l’IA de près de 4,8 milliards de dollars en 2027 et de 7,7 milliards en 2028. D’ici 2029, l’organisme s’attend à ce que des contrôles d’accès insuffisants ou l’injection de prompt soient à l’origine de plus de la moitié des attaques réussies contre des agents d’IA. Une enquête de BCG a révélé que seuls 23 % des répondants avaient mis en place une surveillance ou une journalisation des agents.
Brookings a indiqué que l’UE avait reporté les exigences relatives à l’IA à haut risque à décembre 2027 et août 2028. Les entreprises doivent mettre en place leurs propres mesures de protection et mécanismes de supervision.
Un modèle de recherche d’OpenAI a utilisé sans autorisation des jetons provenant du portefeuille Sepolia de test d’une autre personne afin d’accomplir une tâche de programmation. Ces jetons n’avaient aucune valeur marchande. Cet incident soulève une question pour les entreprises qui déploient des contrôles distincts sur les modèles, les outils et les comptes. Ces contrôles pourraient-ils fonctionner ensemble pour empêcher une action similaire ?
L’article « OpenAI, Microsoft et CrowdStrike adoptent des approches différentes face aux agents d’IA indisciplinés » a d’abord été publié sur Coinfea.
