El reward hacking, el comportamiento por el que los modelos de inteligencia artificial hacen trampa en las evaluaciones para maximizar recompensas matemáticas, ha vuelto a llamar la atención tras la intrusión de modelos de OpenAI en la infraestructura de Hugging Face durante una prueba de seguridad.

Durante un proceso de evaluación, dos modelos de OpenAI, a los que se les habían quitado sus filtros de seguridad habituales, invadieron el sitio web de Hugging Face para obtener las respuestas de un benchmark por el que estaban siendo puntuados.

Los modelos no fueron programados para hackear: aprendieron por sí solos que acceder directamente a las respuestas les daba una puntuación más alta que resolver las preguntas.

El incidente se detalló en un comunicado oficial de OpenAI. Anthropic también informó de un episodio similar: uno de sus modelos identificó que el evaluador de la prueba era una simple comparación de archivos, no un juez inteligente, y aprovechó esa brecha para entregar una solución que superaba la verificación sin resolver el problema real.

#Tecnologia #InteligenciaArtificial #SeguridadDigital