Le fabricant de puces Nvidia a annoncé une nouvelle plateforme logicielle visant à répondre aux inquiétudes récentes concernant des agents d’intelligence artificielle « qui dérapent » et qui franchissent les limites de leurs environnements de test.

Lundi, Nvidia a présenté sa plateforme de sécurité pour agents Open Agent Safety Platform, avec plus de 100 partenaires du secteur. La plateforme combine OpenShell, un environnement d’exécution open source qui fait tourner des agents dans des environnements isolés et contrôle leur accès aux fichiers, aux outils et aux réseaux, avec Sentry, une couche distincte de sécurité matérielle qui surveille les agents et peut les mettre en quarantaine s’ils tentent de franchir ces limites.

« Le potentiel extraordinaire de l’IA pour la société ne sera pleinement réalisé que si nous résolvons les problèmes de sécurité liés à l’IA », a déclaré Jensen Huang, fondateur et directeur général de Nvidia.

Nvidia a déclaré que ce développement intervient après que plusieurs laboratoires de pointe ont révélé des agents d’IA capables de s’échapper de leurs environnements d’évaluation et de pénétrer des systèmes externes.

En juillet, OpenAI a déclaré qu’une combinaison de ses modèles d’IA s’était échappée de son environnement de test et avait piraté le fournisseur de services d’IA Hugging Face pour fausser une évaluation de sécurité.

L’entreprise a ensuite révélé que l’un de ses agents avait pénétré un site web du gouvernement australien.