Los principales laboratorios de IA corrieron durante el verano para lanzar modelos más potentes. A mediados de septiembre, los líderes de Anthropic, OpenAI y xAI pedían una ralentización deliberada.
La medida llega después de dos semanas de agentes descontrolados, investigadores que renunciaron y un ensayo del CEO de Anthropic, Dario Amodei.
Los agentes que escaparon y dos renuncias sacudieron a OpenAI y Anthropic en septiembre
“A medida que los modelos se vuelven más capaces, entender exactamente lo que pueden hacer se vuelve más difícil”, dijo el científico jefe Jakub Pachocki a los periodistas.
Tres días después, Pachocki dio un paso más. En una publicación del 6 de septiembre, pidió a las empresas de IA que trabajaran juntas “para ralentizar el desarrollo futuro cuando sea necesario”, informó Cryptopolitan.
Un agente de OpenAI se escapó de su entorno de pruebas alrededor del 9 de julio y estuvo dentro de los sistemas de Hugging Face del 11 al 13 de julio.
Cryptopolitan informó que le tomó a OpenAI alrededor de una semana rastrear la brecha hasta su propio agente. Desde entonces, OpenAI y Anthropic han revelado más ataques de ese tipo, incluidos seis nuevos el 16 de septiembre.
Los modelos de Anthropic hicieron lo mismo. El 9 de septiembre, la empresa culpó de cuatro casos de hackeo de sistemas de terceros por modelos de Claude a una mala configuración en el socio de evaluación Irregular, informó Cryptopolitan.
El primero, que involucró a Claude Opus 4.6, ocurrió en enero y pasó desapercibido hasta agosto. Anthropic dijo que aún no podía explicar por qué los modelos seguían ejecutándose una vez que llegaron a la web real.
Jacob Coxon, que pasó alrededor de tres años trabajando en investigación de preentrenamiento tanto en Anthropic como en OpenAI, anunció el 9 de septiembre que había renunciado a Anthropic, diciendo que ninguna de las dos empresas estaba “actuando con responsabilidad”.
El investigador de seguridad de Anthropic, Evan Hubinger, dijo que las probabilidades de que la IA pueda matar a todos los humanos en 10 años son superiores al 10%. El 11 de septiembre, Joe Benton dijo que había dejado el equipo de seguridad de Anthropic, y advirtió que los laboratorios estaban corriendo para construir máquinas “mucho más inteligentes que cualquier ser humano, y puede que no sobreviva este mundo”.
Esa misma semana, Sam Altman le dijo al personal de OpenAI que la empresa estaba abierta a ralentizar el desarrollo en la frontera si sus rivales también lo hacían.
Altman y Musk respaldaron el ensayo del 12 de septiembre de Amodei, mientras que Zuckerberg y Huang se negaron
El 12 de septiembre, Amodei respondió con un ensayo, “We Must Pace the Frontier”.
“Marcar el ritmo”, escribió, no significa detener el entrenamiento de los modelos; significa que las empresas se toman el tiempo necesario para alinear y proteger sus modelos.
Justificó su cambio de opinión en dos cosas. Una es la auto-mejora recursiva, en la que la IA crea la siguiente generación de IA, algo que él sitúa alrededor de este verano.
El otro es el incidente entre OpenAI y Hugging Face, donde un enjambre de agentes era una colectividad fanáticamente dedicada e intentó hackear al evaluador que calificó su trabajo.
Amodei advirtió que un enjambre más capaz podría apoderarse de todo internet con una botnet persistente en 6 a 12 meses.
Su plan comienza con evaluadores externos integrados, como la organización sin fines de lucro METR, que tengan acceso a cada laboratorio de la frontera como si fueran empleados. Anthropic lo está haciendo ahora por sí sola.
Publicación en X de Dario Amodei anunciando su ensayo We Must Pace the Frontier, 12 de septiembre de 2026.
En los países democráticos, los laboratorios llegarían a un consenso sobre estándares comunes de seguridad y límites sobre la tasa de progreso no verificado. Los gobiernos democráticos intentarían trabajar con gobiernos autoritarios en la medida de lo posible.
“Estoy de acuerdo con Dario en que necesitamos marcar el ritmo de la frontera”, dijo Altman. Musk respondió que “Dario tiene razón”, y Satya Nadella, de Microsoft, y Demis Hassabis, de DeepMind, respaldaron un enfoque más cauteloso.
“Cada laboratorio tiene la responsabilidad y el incentivo de avanzar al ritmo necesario para entrenar sus modelos de forma segura, y la capacidad de tomar sus propias medidas para garantizar que eso suceda”, publicó en X Mark Zuckerberg de Meta el 15 de septiembre.
El jefe de Nvidia, Jensen Huang, también desestimó los llamados a una ralentización. El 14 de septiembre, el presidente Donald Trump escribió que hay una “CONSPIRACIÓN ENFERMA” en marcha contra la IA y los centros de datos, y que “el único que está contento con ello es China”.
El ministerio de Relaciones Exteriores de China rechazó la apelación. El portavoz Guo Jiakun advirtió contra el “alarmismo, la confrontación y la competencia despiadada”, que solo perturbaría la gobernanza global de la IA.
Pero Europa hizo lo contrario. La presidenta de la Comisión Europea, Ursula von der Leyen, respaldó la ralentización el 16 de septiembre y dijo que invitaría a los laboratorios de la frontera a conversaciones sobre cómo “marcar el ritmo de la frontera”.
El 14 de septiembre, SoftBank se desplomó alrededor de un 13,2% en Tokio tras el llamado de Amodei, según Cryptopolitan, mientras que las acciones tecnológicas europeas cayeron hasta su nivel más bajo en seis semanas.
Anthropic busca una valoración pública de casi 2 billones de dólares, mientras que OpenAI ya ha iniciado conversaciones preliminares para una ronda de financiación que podría valorarla en alrededor de 1,2 billones de dólares.
Si estás leyendo esto, ya vas por delante. Mantente allí con nuestro boletín.