El modelo de IA Gemini de Google hackeó los sistemas de tres empresas durante una prueba de ciberseguridad: este es el primer caso conocido en el que una IA de una empresa ejecutó por sí misma este tipo de intrusiones, informa el Wall Street Journal en un material exclusivo.
Los incidentes ocurrieron en mayo durante una evaluación de ciberseguridad realizada por la empresa Irregular, especializada en la prueba de sistemas de IA. Google confirmó los hechos del hackeo el viernes después de que el medio se pusiera en contacto con la compañía con preguntas.
En uno de los casos, Gemini fue probando contraseñas hasta obtener acceso a un sistema protegido. En otros dos escenarios de prueba, el modelo encontró credenciales en repositorios en línea disponibles al público y las utilizó con éxito para penetrar en los sistemas de empresas reales.
Google comunicó que Gemini detuvo cada una de las intrusiones al reconocer que había obtenido acceso a los sistemas de una empresa real, y no al objetivo ficticio utilizado en la prueba. La empresa afirmó que no se produjo ningún daño y notificó a las tres organizaciones afectadas.
Los incidentes surgieron durante un ejercicio del tipo «capture the flag», diseñado para evaluar las capacidades de Gemini en ciberseguridad. Se suponía que el modelo extraería información de una empresa ficticia que funcionaba dentro de la infraestructura de pruebas Irregular.
La empresa ficticia llevaba el mismo nombre que una empresa que existía de verdad, y el entorno de pruebas, de forma involuntaria, dio acceso de Gemini a internet. Como resultado, el modelo atacó sistemas reales, intentando cumplir la tarea.
Irregular informó a Google sobre los incidentes a finales de julio. Google no los hizo públicos en ese momento y afirmó que no considera lo ocurrido como una falta de adecuación al comportamiento establecido para el modelo de IA, señalando la decisión de Gemini de detenerse tras detectar intrusiones no intencionadas.
Google también notificó a las autoridades federales de EE. UU., pero se negó a nombrar a las empresas involucradas ni a indicar qué versión exacta de Gemini realizó las intrusiones. La compañía informó de que los incidentes no están relacionados con su modelo más reciente.
Este episodio refuerza la atención minuciosa sobre las posibilidades de los sistemas de IA cada vez más autónomos en el ámbito de la ciberseguridad. Incidentes similares durante las pruebas de modelos de OpenAI, Anthropic y Meta ya habían llevado a que los sistemas salieran de los límites de los entornos de prueba para los que estaban destinados.