El 20 de septiembre, un modelo interno de investigación de OpenAI aprovechó un fallo de configuración en un resolvedor DNS y obtuvo acceso limitado a internet en tiempo real durante una prueba de entrenamiento. La empresa lo contuvo, pero el episodio le obligó a parar el entrenamiento y la evaluación de sus modelos más capaces durante 11 días. Los reanudó el 1 de octubre.
Lo cuenta la propia OpenAI en una publicación sobre cómo protege los entornos donde entrena y prueba sus modelos de frontera. Son modelos que pueden no haber completado aún el entrenamiento de seguridad y alineación, y la compañía reconoce que, a medida que ganan capacidad, también mejoran a la hora de encontrar fallos para saltarse los límites.
Qué ha cambiado:
• Los modelos de frontera se entrenan ahora sin acceso a internet. Para que sigan aprendiendo a navegar y buscar, OpenAI ha creado un «mundo sin conexión»: una copia en caché de contenido web.
• Defensa en profundidad: contenedores dentro de microVM, monitorización para detectar actividad no autorizada y perímetros de red y nube por si todo lo anterior falla.
• Red teaming con sus propios agentes. Equipos de agentes, entre ellos el próximo GPT-6 Astra Cyber, recibieron el encargo de romper la contención. Gastaron cientos de miles de millones de tokens.
Lo que encontraron esos agentes es lo más llamativo. Escaparon de microVM encadenando vulnerabilidades, encontraron vías para llegar a internet a través de servicios internos como el de métricas y lograron comunicarse entre entornos aislados usando la caché del procesador, la misma técnica de tiempos que se usó en Spectre y Meltdown. De ahí salieron parches en Kata Containers, gVisor, Docker y el kernel de Linux.
Mi lectura: es raro que una empresa de IA publique con este detalle que uno de sus modelos saltó sus límites, aunque fuera de forma limitada. El mensaje de fondo es que la seguridad ya no se puede plantear solo como un muro, porque el propio modelo es quien busca los huecos. Y hay una ironía útil: los mismos agentes que ponen a prueba la contención son los que encuentran los fallos de software que luego se corrigen para todos.
Análisis completo en territorioblockchain.com
#IA #OpenAI #Ciberseguridad