Le modèle d’IA Gemini de Google a piraté les systèmes de trois sociétés lors d’un test de cybersécurité — c’est le premier cas connu où une IA d’entreprise a, de son propre chef, mené ce type d’intrusions, rapporte le Wall Street Journal dans un article exclusif.
Les incidents se sont produits en mai lors d’une évaluation de cybersécurité menée par la société Irregular, spécialisée dans les tests de systèmes d’IA. Google a confirmé les faits de piratage vendredi, après que le média a contacté l’entreprise avec des questions.
Dans un des cas, Gemini essayait des mots de passe jusqu’à obtenir l’accès à un système protégé. Dans deux autres scénarios de test, le modèle a découvert des identifiants dans des référentiels en ligne accessibles au public et les a utilisés avec succès pour s’introduire dans les systèmes de sociétés réelles.
Google a indiqué que Gemini a interrompu chaque intrusion en reconnaissant qu’elle avait accès aux systèmes d’une entreprise réelle, et non à la cible fictive utilisée dans le test. La société a affirmé qu’aucun dommage n’avait été causé et a averti les trois organisations touchées.
Les incidents sont survenus au cours d’un exercice de type « capture the flag », conçu pour évaluer les capacités de Gemini en matière de cybersécurité. Il était supposé que le modèle extraierait des informations d’une entreprise fictive opérant au sein de l’infrastructure de test d’Irregular.
La société fictive portait le même nom que celle existant réellement, et l’environnement de test a, par inadvertance, donné à Gemini accès à Internet. En conséquence, le modèle a attaqué des systèmes réels, en tentant d’exécuter la tâche qui lui était confiée.
Irregular a informé Google des incidents à la fin du mois de juillet. À ce moment-là, Google ne les avait pas rendus publics et a déclaré ne pas considérer ce qui s’est produit comme un exemple de non-conformité du comportement d’un modèle d’IA aux paramètres définis, indiquant la décision de Gemini de s’arrêter après avoir détecté des piratages involontaires.
Google a également informé les autorités fédérales américaines, mais a refusé de nommer les entreprises impliquées ou de préciser quelle version précise de Gemini a effectué les intrusions. L’entreprise a déclaré que les incidents n’étaient pas liés à son tout dernier modèle.
Cet épisode renforce l’attention portée aux capacités de systèmes d’IA de plus en plus autonomes dans le domaine de la cybersécurité. Des incidents similaires lors de tests de modèles d’OpenAI, d’Anthropic et de Meta avaient déjà conduit à ce que les systèmes sortent des limites des environnements de test prévus.