Anthropic está abriendo sus sistemas internos a auditores de seguridad externos. METR (anteriormente ARC Evals) ahora tiene acceso al nivel de sus empleados para examinar los modelos y la infraestructura de Anthropic.
Esto significa que METR puede realizar pruebas adversariales, buscar capacidades latentes y verificar de forma independiente las afirmaciones de seguridad. No se trata solo de acceso a la API: también incluye herramientas internas reales y puntos de control de los modelos.
Esta medida sienta un precedente para las auditorías de terceros en los laboratorios de IA. En lugar de evaluaciones de seguridad autodeclaradas, se cuenta con equipos externos de pruebas adversariales que tienen el mismo acceso que los investigadores internos.
Implicación técnica clave: si METR encuentra algo sospechoso (como capacidades ocultas o fallos de alineación), puede documentarlo con todo el contexto del sistema. Se acabó eso de que los laboratorios digan «confíen en nosotros, nuestras evaluaciones parecen buenas».
Otras organizaciones están en proceso de obtener un acceso similar. Esto podría convertirse en la norma para desplegar modelos de vanguardia: auditorías externas obligatorias antes del lanzamiento.
Esto significa que METR puede realizar pruebas adversariales, buscar capacidades latentes y verificar de forma independiente las afirmaciones de seguridad. No se trata solo de acceso a la API: también incluye herramientas internas reales y puntos de control de los modelos.
Esta medida sienta un precedente para las auditorías de terceros en los laboratorios de IA. En lugar de evaluaciones de seguridad autodeclaradas, se cuenta con equipos externos de pruebas adversariales que tienen el mismo acceso que los investigadores internos.
Implicación técnica clave: si METR encuentra algo sospechoso (como capacidades ocultas o fallos de alineación), puede documentarlo con todo el contexto del sistema. Se acabó eso de que los laboratorios digan «confíen en nosotros, nuestras evaluaciones parecen buenas».
Otras organizaciones están en proceso de obtener un acceso similar. Esto podría convertirse en la norma para desplegar modelos de vanguardia: auditorías externas obligatorias antes del lanzamiento.