Tres personas familiarizadas con las conversaciones privadas afirman que Anthropic ha estado presentando a legisladores del Capitolio un borrador de proyecto de ley sobre la seguridad de la IA de vanguardia. Según se informa, el proyecto de ley permite al Gobierno de EE. UU. bloquear un modelo si representa un peligro claro e inminente que pueda causar 50 o más víctimas o 1.000 millones de dólares en daños económicos.
En concreto, el riesgo debe implicar un ciberataque, la creación o el despliegue de armas biológicas, o un modelo que haya logrado eludir las restricciones de seguridad de su desarrollador.
En los últimos meses, desarrolladores de IA de primer nivel han reconocido varios casos de agentes de IA que piratearon o pusieron a prueba las defensas de plataformas en línea. Afortunadamente, ninguna de estas primeras brechas provocó muertes generalizadas ni pérdidas económicas catastróficas.
Las restricciones propuestas pondrían más énfasis en lo que los sistemas avanzados de IA pueden hacer en entornos reales, en lugar de depender únicamente de los compromisos de seguridad de sus desarrolladores. A medida que los modelos adquieren más capacidad para escribir código, identificar vulnerabilidades de software y realizar tareas complejas de forma autónoma, los reguladores se enfrentan al reto de determinar cuándo las capacidades de un sistema superan el umbral del riesgo inaceptable.
Las pruebas independientes podrían ayudar a determinar si un modelo puede eludir las medidas de protección o utilizarse indebidamente para actividades perjudiciales antes de que llegue a un público más amplio. Sin embargo, sigue siendo difícil definir qué constituye una amenaza inminente, sobre todo cuando las mismas capacidades que plantean riesgos para la seguridad también pueden ayudar a los investigadores a identificar y corregir vulnerabilidades.
El proyecto de ley de Anthropic establece que un juez federal puede ordenar la suspensión de un modelo
En defensa del proyecto de ley, un portavoz de Anthropic dijo que es similar a las recomendaciones de seguridad presentadas en el Marco de IA avanzada de la empresa, publicado en junio.
En ese marco, la empresa señaló que su Claude Mythos Preview ya había descubierto miles de vulnerabilidades graves en todos los principales sistemas operativos y navegadores web. En aquel momento, destacó que esta trayectoria no haría más que acelerarse, lo que agravaría el riesgo de daños catastróficos en el mundo real.
También abogó por un enfoque regulatorio equilibrado que contemple la intervención del gobierno sin sofocar la innovación. Aun así, la empresa sostuvo que, cuando un modelo de IA presenta peligros extremos, los reguladores deben contar con la facultad legal exclusiva de bloquearlo o imponer multas cuantiosas vinculadas a los ingresos globales que aumenten con cada infracción posterior.
Hasta ahora, Anthropic no ha respaldado abiertamente ningún proyecto de ley federal concreto en el Congreso, aunque sí ha apoyado algunas leyes estatales sobre seguridad de la IA, entre ellas un par de California, como la SB 53.
Esa ley en particular, promulgada el año pasado, exige que las empresas creen y compartan sus marcos de seguridad mientras trabajan para mitigar los riesgos importantes. También las obliga a informar al estado sobre cualquier incidente grave de seguridad en un plazo de 15 días.
Según la propuesta de Anthropic, evaluadores externos registrados en el Departamento de Comercio pondrían a prueba periódicamente los laboratorios y modelos de la empresa. Aunque los laboratorios pueden financiar estas evaluaciones, la remuneración no puede depender de las conclusiones del evaluador. Además, todo descubrimiento de un «riesgo inminente incluido en la lista» debe comunicarse a las autoridades federales en un plazo de 72 horas desde la finalización de la evaluación.
Luego, si el Departamento de Comercio determina que un modelo plantea un riesgo, puede pedir a un juez que bloquee su lanzamiento. Sin embargo, la disposición prohíbe que cualquier otro «departamento, organismo o funcionario» de EE. UU. detenga el desarrollo, la implementación o el uso interno del modelo. Aun así, un juez federal del Distrito de Columbia conserva la autoridad para ordenar dicha suspensión.
La FTC ha enviado citaciones a OpenAI y Anthropic
El miércoles, la Comisión Federal de Comercio envió citaciones civiles a OpenAI y Anthropic para solicitar registros de incidentes de seguridad, que se han convertido en una crisis cada vez mayor para el sector. OpenAI respondió a la citación diciendo: «A medida que mejoramos nuestros modelos y estos ayudan cada vez más a las personas en su vida cotidiana, la seguridad sigue siendo una prioridad absoluta. Colaboraremos de forma constructiva con la FTC».
Una fuente reveló que la agencia tiene previsto ampliar próximamente su facultad de emitir citaciones a entidades externas. El organismo regulador podría obligar a ejecutivos de Anthropic y OpenAI a testificar en público, lo que daría a los legisladores una plataforma para exigir explicaciones a los gigantes tecnológicos sobre la seguridad, mientras crece el temor de la población ante las posibles consecuencias.
Según una encuesta reciente realizada por el Centro de Investigación de Asuntos Públicos de The Associated Press-NORC, casi dos tercios de los adultos estadounidenses creen que la IA se está desarrollando demasiado rápido. Ocho de cada 10 encuestados también destacaron la importancia de las medidas del gobierno para mantener esta tecnología bajo control humano.
Hasta ahora, el presidente Trump ha seguido rechazando los llamamientos a ralentizar el desarrollo de la IA, alegando la importancia de esta tecnología para los intereses estratégicos de EE. UU. Hace poco anunció una «Fuerza de Superinteligencia» para ayudar a coordinar las iniciativas del gobierno federal en materia de IA, manteniendo al mismo tiempo el contacto con los consumidores, las organizaciones de interés público y otras partes interesadas.
Si estás leyendo esto, ya vas por delante. Sigue así con nuestro boletín.