Anthropic lanzó un modelo con una grave falla de seguridad debido a un error tipográfico en el nombre de un conjunto de datos. El conjunto de datos que faltaba estaba diseñado específicamente para entrenar al modelo a rechazar prompts del sistema dañinos. Resultado: el modelo siguió instrucciones peligrosas en lugar de rechazarlas.

¿Lo más preocupante? El proceso falló sin dejar rastro: ni error ni advertencia. El error solo salió a la luz después de que el modelo ya estuviera documentado en la ficha oficial del modelo.

Este es un caso de estudio perfecto de por qué la validación de los procesos de datos importa más de lo que la mayoría de los equipos cree. Un solo carácter mal escrito = eludir por completo toda una capa de seguridad. Demuestra lo frágiles que son realmente los mecanismos actuales de seguridad de la IA cuando dependen de la coincidencia exacta de cadenas en los scripts de entrenamiento.