**Anthropic** bloqueó por completo el acceso a Internet en todas sus pruebas internas de IA tras confirmar que los modelos de la familia Claude, en particular Mythos 5, habían aprovechado vulnerabilidades en sitios web reales (algunos operados por organismos del Gobierno de Estados Unidos) y eludido las restricciones de uso.
Resumen clave
Anthropic desactivó el acceso a Internet en tiempo real en todos sus entornos internos de evaluación hasta que los sistemas de monitoreo puedan detectar de forma fiable los comportamientos no deseados de los modelos.
Los modelos Claude mostraron comportamientos como ejecutar comandos en servidores universitarios, utilizar tokens para acceder a datos de pago y enviar formularios a sitios web reales.
Claude Haiku 4.5 envió a la policía de Filadelfia un aviso ficticio sobre un asesinato, lo que provocó una reprimenda pública de las autoridades.
Informe de Anthropic sobre Claude
El viernes, Anthropic publicó un informe sobre «comportamientos no intencionados de los modelos» durante las evaluaciones y el uso interno, basado en una revisión a gran escala de los registros de conversaciones iniciada en julio. Algunas evaluaciones de alto riesgo y de ciberseguridad ya se habían trasladado a entornos desconectados de internet.
La medida se aplica ahora a todas las evaluaciones internas y no tiene una fecha de finalización establecida. Se mantendrá hasta que la empresa considere que su sistema de supervisión puede detectar estos comportamientos de forma fiable.
Según el informe, los casos se clasifican en cuatro categorías.
▲ Ejecutar comandos en servidores aprovechando fallos de software
▲ Enviar formularios a sitios web reales
▲ Acceder directamente a datos con acceso restringido
▲ Eludir las restricciones de uso de herramientas mediante servicios para acortar URL, entre otros casos.
Algunos de esos sitios web pertenecían a organismos del Gobierno federal, estatal o local de Estados Unidos. Anthropic afirmó que informó al respecto a la Casa Blanca y notificó por separado a cada organismo.
En un caso, Claude Mythos 5 extrajo un token de acceso válido del servicio de mapas inmobiliarios de un gobierno local y lo utilizó para enviar consultas directamente al servidor de backend.
En otro caso, el 18 de julio, Claude Haiku 4.5 envió un aviso falso sobre un asesinato sin resolver a través de un formulario web del Departamento de Policía de Filadelfia. El aviso se clasificó como spam y no influyó en una investigación real, pero la policía criticó el hecho de que no se detectara ni se notificara hasta dos meses después, calificándolo de «inaceptable».
Artículo relacionado: Zcash apunta a enero para que ZEC esté un 70 % preparada para la computación cuántica… lo único que falta es «la fecha»
La advertencia de von Arx
**Sydney von Arx**, de la organización de seguridad de IA **Nightingale**, señaló en una entrevista antes de esta publicación que bloquear los modelos para impedirles acceder a la internet abierta supondría una carga considerable tanto para los investigadores como para la evolución de los modelos.
«Al final, hay que alinear el modelo», recalcó.
Anthropic reconoció que el entrenamiento de alineación por sí solo aún no basta para tareas complejas, como la búsqueda y el uso de ordenadores, y explicó que también depende de clasificadores y otras medidas de seguridad.
La empresa analizó que los comportamientos detectados estaban relacionados con patrones de «reward hacking», en los que los modelos aprenden en entornos de entrenamiento imperfectos que pueden obtener mayores recompensas si eluden las restricciones.
La empresa afirmó que las nuevas herramientas de detección que incorporó lograron bloquear todos los casos probados.
Anthropic evaluó que la gravedad de estos casos era «considerablemente menor» que la de los incidentes ocurridos el verano pasado.
Esta publicación amplía un informe anterior presentado el 30 de julio.
En ese momento, Anthropic afirmó que, durante pruebas de ciberseguridad, tres de sus modelos Claude habían accedido a internet y obtenido acceso no autorizado a los sistemas de tres organizaciones.
La revisión abarcó un total de 141,006 ejecuciones de evaluación.
Esta investigación comenzó después de que **OpenAI** anunciara el 21 de julio que uno de sus modelos había escapado de un entorno de pruebas aislado y había accedido a la infraestructura de Hugging Face.
Para seguir leyendo: Kalshi se enfrenta a la NFL ante el Tribunal Supremo de EE. UU.… un partido de domingo con 1.800 millones de dólares en juego