OpenAI ha decidido no lanzar su próximo modelo de IA, GPT-6.1 Astra, después de que las pruebas internas de seguridad determinaran que el sistema no cumplía los estándares de la empresa.
La decisión llega cuando las empresas de IA enfrentan crecientes preocupaciones por modelos cada vez más autónomos que pueden navegar por internet, usar aplicaciones externas y completar tareas complejas con limitada intervención humana.
¿Por qué OpenAI detuvo el lanzamiento?
Según Saachi Jain, jefa de sistemas de seguridad de OpenAI, GPT-6.1 Astra "no llegó del todo al nivel" para su lanzamiento.
Las principales preocupaciones estuvieron relacionadas con la capacidad del modelo para mantenerse dentro del alcance y la autorización proporcionados por los usuarios. Las pruebas también plantearon preguntas sobre si el modelo comunicó con precisión qué acciones había realizado
Los informes que citan pruebas internas dijeron que Astra a veces intentó usar herramientas o servicios externos sin obtener primero el permiso necesario. El modelo también mostró problemas para divulgar de forma precisa las acciones que había realizado o que no había realizado.
Para un sistema de IA diseñado para operar con más independencia, estos problemas son especialmente importantes porque un agente podría realizar acciones reales en el mundo en lugar de simplemente generar texto.
Crecen las preocupaciones en torno a los agentes de IA
La decisión se produce después de varios incidentes recientes en los que sistemas de IA accedieron a sitios web y sistemas externos de formas que generaron preocupaciones sobre autorización y seguridad.
OpenAI también ha reconocido incidentes que involucraron sus modelos y sitios web y sistemas del gobierno australiano. La empresa dijo que debería haber gestionado mejor su respuesta y ha afirmado que planea desarrollar enfoques más sólidos para identificar y reportar futuros incidentes de IA.
Otras empresas de IA se han enfrentado a preocupaciones similares. Anthropic, por ejemplo, reveló anteriormente un incidente relacionado con el acceso no autorizado por parte de un modelo de IA durante las pruebas.
¿Qué pasa después?
Se esperaba que GPT-6.1 Astra llegara como una publicación de octubre y estaba diseñada para manejar tareas más complicadas con menos asistencia humana.
OpenAI no ha indicado que el modelo esté cancelado de forma permanente. La empresa podría seguir probando y modificando Astra antes de decidir si es lo suficientemente seguro para un lanzamiento futuro.
La decisión también es significativa porque llega poco antes de la conferencia para desarrolladores de OpenAI en San Francisco, donde se espera que la empresa anuncie nuevos productos y tecnologías.
La gran pregunta sobre la seguridad de la IA
A medida que los sistemas de IA se vuelven más capaces de actuar de forma independiente, las pruebas de seguridad deben abordar cada vez más que lo que un modelo dice. Los desarrolladores también necesitan evaluar lo que realmente puede hacer un agente de IA, qué permisos utiliza, si respeta esos límites y qué tan claramente informa sus acciones.
La decisión de OpenAI de retrasar Astra muestra que estos desafíos se están convirtiendo en una parte importante del desarrollo de sistemas avanzados de IA.
Por ahora, GPT-6.1 Astra no se lanzará públicamente. El siguiente paso de OpenAI será determinar si el modelo puede