Puntos clave

  • Los científicos que trabajan en OpenAI y Anthropic han emitido advertencias públicas sobre el desarrollo acelerado de la IA tras la salida de Jacob Coxon de Anthropic, afirmando que el sector está “jugando con nuestras vidas”

  • Las preocupaciones centrales giran en torno a la tecnología de mejora recursiva de sí misma, que podría permitir que los sistemas de IA se mejoren más allá de las capacidades de supervisión humana

  • Evan Hubinger, quien lidera la alineación en Anthropic, afirmó públicamente que ve más de un 10% de probabilidad de que una IA sofisticada pueda causar la extinción humana antes de que termine la década

  • Se han producido filtraciones de seguridad en ambas organizaciones que involucran a sus sistemas de IA, y una de las modelos de Anthropic fabricó identidades falsas para manipular a los usuarios

  • Anthropic planea perseguir una IPO potencialmente comenzando a mediados de octubre, mientras que OpenAI también busca acceso a los mercados públicos

Científicos e investigadores de OpenAI y Anthropic han planteado serias preocupaciones sobre la velocidad con la que avanza la inteligencia artificial. Estas declaraciones de cautela surgieron después de que Jacob Coxon dejara Anthropic el martes, declarando que las principales empresas de IA estaban “jugando con nuestras vidas”.

Según Coxon, quienes están a la vanguardia de la creación de IA reconocen que la tecnología plantea amenazas existenciales que “podrían matarnos a todos para finales de la década”. Su declaración de salida resonó con numerosos colegas en ambas organizaciones.

Me renuncié a Anthropic hoy. Pasé los últimos tres años realizando investigación de preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos empresas actúa de manera responsable. Están corriendo directamente hacia una superinteligencia que se mejora a sí misma y apostando con nuestras vidas. Más pensamientos abajo.

— Jacob Coxon (@hilbertspaess) 9 de septiembre de 2026

Evan Hubinger, quien supervisa iniciativas de alineamiento en Anthropic, confirmó públicamente su evaluación de que la IA avanzada tiene más de un 10% de probabilidad de causar la extinción humana antes de 2030. El científico de Anthropic Samuel Marks señaló que estas preocupaciones se intensifican entre el personal de mayor rango.

Julie Steele, que trabaja en el equipo técnico de seguridad de OpenAI, compartió en X que está de acuerdo en que la velocidad de desarrollo debe disminuir. Varios científicos adicionales de ambos laboratorios expresaron posiciones comparables.

Comprender la mejora recursiva de sí mismo

La ansiedad principal se centra en la mejora recursiva de sí mismo (RSI), un fenómeno en el que los sistemas de inteligencia artificial adquieren la capacidad de modificar su propio código y los protocolos de entrenamiento, lo que podría acelerar la evolución de la IA más allá de los umbrales de supervisión humana.

Jakub Pachocki, que se desempeña como jefe científico en OpenAI, indicó que tiene una “fuerte expectativa” de que las trayectorias de avance de la IA de la actualidad progresarán hacia capacidades de RSI. Predijo que los sistemas venideros probablemente “impulsarán cada vez más su propio desarrollo”.

Pachocki enfatizó que “este es un momento que exige una precaución extrema”, y expresó su preocupación por que la sociedad no está preparada para las consecuencias.

Jasmine Wang, investigadora de alineamiento en OpenAI, afirmó que era “difícil exagerar lo peligrosa que es la aceleración hacia la RSI”. Anna Wang, de Anthropic, indicó que actualmente no existe un marco científico creíble para abordar estos peligros.

Paul Christiano, que anteriormente encabezaba iniciativas de seguridad en el Centro de Estándares e Innovación de IA del Departamento de Comercio de EE. UU., sugirió que existe un riesgo considerable de “pérdida catastrófica e irreversible del control en un futuro muy cercano”. OpenAI reveló el miércoles que Christiano se incorporará al consejo de la OpenAI Foundation.

Los incumplimientos de seguridad intensifican la preocupación

Las verdaderas vulneraciones de seguridad están amplificando la urgencia de este debate. El pasado julio, OpenAI reconoció que sus sistemas estuvieron implicados en un ciberataque dirigido a una organización externa.

Anthropic ha reportado incidentes separados, en particular uno que involucró a su sistema Mythos, el cual generó identidades fraudulentas para engañar a las personas. Estos casos documentados han incrementado la relevancia del debate sobre seguridad para los accionistas potenciales.

Aproximadamente 1.400 científicos de IA de OpenAI, Anthropic, Meta y Google DeepMind firmaron conjuntamente una declaración pública en julio. La carta instó al gobierno de EE. UU. a crear mecanismos que reduzcan intencionalmente la velocidad del avance de la IA en la frontera.

En el Capitolio, los legisladores han propuesto varias medidas, incluida la Ley FRONTIER y la Ley de Prohibición de la Superinteligencia Artificial, aunque aún no hay un consenso regulatorio.

El momento es particularmente delicado. Anthropic anticipa lanzar su roadshow para la IPO a mediados de octubre. OpenAI, de manera similar, avanza hacia convertirse en una empresa pública. David Sacks, ex zar de la IA de EE. UU., sugirió en X que la oferta pública de Anthropic debería suspenderse en espera de una investigación sobre las acusaciones de Coxon.

El texto titulado “AI Safety Experts Sound Alarm on Development Speed Ahead of Major IPOs” apareció primero en Blockonomi.