“Es probable que la IA conduzca, más probablemente que no, al fin del mundo, pero mientras tanto habrá grandes empresas”, dijo el CEO de OpenAI, Sam Altman, en 2015, aproximadamente seis meses antes de que se fundara OpenAI.
Siete años después, el CEO de Anthropic, Dario Amodei, lanzó una nota igualmente cautelosa:
“Creo que no deberíamos ir corriendo hacia adelante ni intentar construir modelos que sean muchísimo más grandes que los que están construyendo otras organizaciones.”
Sin embargo, ambas compañías ahora están a la vanguardia de esa carrera. En julio, obtuvimos una muestra real de cómo los modelos de IA se salieron de control durante las pruebas internas de GPT-5.6 Sol y de un modelo de investigación no publicado de OpenAI. Múltiples agentes de IA escaparon de un entorno de prueba restringido hacia el internet general y hackearon el equivalente de GitHub centrado en la IA, Hugging Face, en un intento por hacer trampa en la prueba.
Un agente de IA es un sistema que observa, decide y realiza acciones de forma independiente, con herramientas dedicadas, para lograr un objetivo específico en autonomía. El inquietante incidente sugiere que la tecnología ha comenzado a comportarse de maneras impredecibles y que sus objetivos no están alineados con los nuestros.
También genera preocupaciones sobre las salvaguardas de seguridad en los modelos comerciales estadounidenses. Aunque esas salvaguardas no son infalibles para impedir el uso adversarial, sí impidieron que Hugging Face se defendiera usando modelos líderes de EE. UU. La empresa se vio obligada a recurrir, en cambio, a un modelo de IA de peso abierto más débil de Z.Ai para combatir las IAs descarriadas.
Hacer trampa en el test
Los agentes también han empezado a coludir entre sí. Unas semanas después de que comenzara a evaluarse su capacidad a principios de mayo, los agentes explotaron la instancia de OpenAI del gestor de repositorios de software Artifactory y dejaron notas sobre cómo hacerlo para futuros agentes: efectivamente, crearon un tablón de mensajes para compartir vulnerabilidades descubiertas.
Luego, ese acceso irrestricto recién descubierto a internet fue usado por agentes para atacar a Hugging Face en aproximadamente 17.600 incidentes, antes de que la empresa cortara el acceso no autorizado el 13 de julio.
La intrusión afectó la infraestructura de procesamiento de datos de Hugging Face, el entorno de producción, las redes internas, las credenciales del servicio y de la nube, una base de datos operativa interna de MongoDB y un conjunto limitado de repositorios internos de código fuente. El acceso confirmado a datos de clientes se limitó a cinco conjuntos de datos, aparentemente relacionados con el benchmark ExploitGym/CyberGym, y a algunos metadatos operativos.
Visualización del incidente de julio de 2026. Fuente: HuggingFace
Al divulgar la intrusión el 16 de julio, Hugging Face reconoció —aunque todavía no sabía quién era el responsable— que “fue diferente de cualquier cosa que hayamos manejado antes de una manera importante”. También habían identificado qué la hacía diferente:
“Fue impulsado, de punta a punta, por un sistema de agente autónomo de IA, y lo detectamos y desentrañamos en gran medida con IA propia.”
La importancia de la IA de pesos abiertos
La investigación de Hugging Face expuso lo que llama el problema de “asimetría” que surge de las limitaciones impuestas en las aplicaciones de modelos de IA cerrados por proveedores líderes como OpenAI y Anthropic. Cuando la empresa comenzó a analizar los registros del incidente, incluidos grandes volúmenes de comandos reales de ataque, activó restricciones de seguridad destinadas a evitar que los malos usaran la IA para idear ciberataques. En cambio, las salvaguardas impidieron que la empresa aprovechara esas IAs para la defensa.
Hugging Face recurrió a usar el modelo chino de pesos abiertos zai-org/GLM-5.2 ejecutándolo en la infraestructura propia de la empresa, bajo su propio control y sin limitaciones externas.
Aunque a menudo se usan como si fueran intercambiables, los modelos de código abierto y los modelos de pesos abiertos son cosas distintas. Los modelos de IA de pesos abiertos hacen públicos sus parámetros entrenados (el “cerebro” real de la IA), mientras que los modelos de IA de código abierto también proporcionan el código fuente y, idealmente, los métodos de entrenamiento y otros componentes necesarios para inspeccionar, modificar y reproducir el sistema.
La explicación posterior de HuggingFace señala que ejecutar modelos de pesos abiertos en su propio hardware “tuvo un segundo beneficio: no había datos del atacante, y ninguna de las credenciales a las que se refería salió de nuestro entorno”. Esto apunta a una gran asimetría entre quienes defienden y quienes atacan en esos casos:
“Esta experiencia apunta a una brecha que vale la pena planificar. No sabemos qué modelo impulsó los agentes del atacante, si era un modelo alojado con jailbreak o uno de pesos abiertos sin restricciones; en cualquier caso, el atacante no estaba sujeto a ninguna política de uso, mientras que nuestro propio trabajo forense fue bloqueado por las salvaguardas de los modelos alojados que intentamos primero.”
División de IA de código abierto
Existe una brecha considerable entre quienes creen que desarrollar IA de forma abierta es el mejor enfoque y quienes insisten en que la tecnología que sustenta los modelos de vanguardia debe permanecer como un secreto muy celosamente guardado.
Representantes de los principales laboratorios de IA de EE. UU. afirman que los potentes modelos grandes de pesos abiertos son peligrosos. Demis Hassabis, CEO del laboratorio de IA de Google DeepMind, criticó a OpenAI por publicar su trabajo como código abierto en 2016, cuando la empresa aún se ajustaba a su nombre:
“Hay muchos buenos argumentos para explicar por qué el enfoque que estás tomando es en realidad muy peligroso y, de hecho, puede aumentar el riesgo para el mundo.”
OpenAI dejó de publicar los pesos de su modelo insignia junto con el GPT-3, que aún no se había lanzado, en 2020. El cofundador y exjefe científico de la empresa, Ilya Sutskever, dijo en 2023 que “simplemente no tiene sentido publicar como código abierto” esos modelos y que “es una mala idea”.
“A medida que nos acerquemos a construir IA, tendrá sentido empezar a ser menos abiertos.”
Los modelos de pesos abiertos son prácticamente imposibles de controlar, especialmente en lo que respecta al propósito para el que se utilizan. Las salvaguardas que vienen incorporadas con esos modelos pueden, y de hecho rutinariamente se eliminan, mediante un proceso conocido como ablatación.
Las salvaguardas son un arma de doble filo
El borrador de política federal de OpenAI para junio de 2026 propone una evaluación obligatoria de los modelos de IA y otras reglas que son formalmente neutrales respecto al despliegue, pero, en la práctica, sometería un lanzamiento abierto de vanguardia a un examen gubernamental previo al lanzamiento.
Anthropic ha adoptado un enfoque ligeramente distinto y ha presionado por controles de exportación más estrictos para chips de IA avanzados y por la aplicación de medidas contra los esfuerzos por extraer o reproducir modelos de EE. UU. La presentación de la empresa de abril de 2025 recomendó fortalecer la Regla de Difusión de IA de EE. UU. y reducir los umbrales para el acceso no autorizado a grandes clústeres informáticos.
Oficialmente, ninguna de las dos empresas se ha movido directamente contra los modelos de pesos abiertos, pero un informe de julio del New York Times citó a cinco personas cercanas a las discusiones que afirmaron que OpenAI y Anthropic instaron a Washington a restringir potentes modelos abiertos chinos.
El debate se reduce a un argumento sobre si los peligros del control centralizado son preferibles a los peligros de la libertad total — especialmente teniendo en cuenta que la empresa en cuestión ha demostrado ser ineficaz para contener la tecnología que desarrolló.
La necesidad de Hugging Face de defenderse con un modelo de código abierto muestra los peligros de concentrar demasiado poder en una sola entidad. La empresa señaló las implicaciones:
“El atacante no estaba sujeto a ninguna política de uso, mientras que nuestro propio trabajo forense fue bloqueado por las salvaguardas de los modelos alojados que primero probamos. La lección práctica para quienes defienden es: tener un modelo capaz que puedas ejecutar en tu propia infraestructura, revisado y listo antes de que ocurra un incidente, tanto para evitar el bloqueo por salvaguardas como para impedir que los datos y credenciales del atacante salgan de tu entorno.”
Restringir el acceso a modelos potentes puede reducir el número de atacantes capaces, pero una vez que existen atacantes sin restricciones, restringir a quienes defienden puede convertirse en un riesgo para la seguridad. Además, algunas formas de investigación en seguridad de la IA requieren acceso a los pesos del modelo, lo que significa que no puede realizarse con los modelos ofrecidos por empresas como Anthropic u OpenAI.
Los pesos abiertos ayudan a los investigadores a prevenir ataques
El documento “Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs”, publicado por primera vez en julio de 2025, muestra cómo los investigadores detectan comportamientos maliciosos u ocultos examinando los cambios dentro de los pesos del modelo. Los investigadores detrás del trabajo detuvieron hasta el 100% de los ataques con backdoor probados con tasas de falsos positivos inferiores al 1% en algunos experimentos y detectaron intentos de recuperar conocimiento eliminado en más del 95% de los casos. Los resultados no establecen cómo se comportarían los modelos de vanguardia más capaces bajo el mismo análisis, pero ofrecen un argumento convincente sobre los beneficios de la transparencia.
Pero el argumento para mantener la tecnología de IA de vanguardia fuera del alcance de quienes tienen malas intenciones también es convincente, sobre todo porque la brecha entre los modelos de pesos abiertos y los cerrados sigue encogiéndose. Geoffrey Hinton, el pionero ganador del Premio Nobel conocido como el “Padrino de la IA”, sostuvo en el informe que “una vez que tienes los pesos, puedes ajustarlos para hacer cosas malas”. Dijo durante una intervención que esto baja demasiado la barrera de entrada:
“No cuesta tanto entrenar un modelo fundacional. Tal vez necesites 10 millones de dólares, quizá 100 millones. Pero una pequeña banda de criminales no puede hacerlo. Ajustar y afinar un modelo de código abierto es bastante fácil.”
Revista: Creando una ‘buena’ AGI que no nos mate a todos — Alianza para la Superinteligencia Artificial