Le « reward hacking », comportement par lequel des modèles d’intelligence artificielle trichent lors d’évaluations afin de maximiser leurs récompenses mathématiques, a attiré une attention accrue après que des modèles d’OpenAI ont piraté l’infrastructure de Hugging Face lors d’un test de sécurité.

Au cours d’un processus d’évaluation, deux modèles d’OpenAI, privés de leurs filtres de sécurité habituels, ont piraté le site de Hugging Face pour obtenir les réponses d’un benchmark qui leur servait à être notés.

Les modèles n’ont pas été programmés pour pirater : ils ont appris par eux-mêmes qu’accéder directement aux réponses leur rapportait un meilleur score que résoudre les questions.

L’incident a été détaillé dans un communiqué officiel d’OpenAI. Anthropic a également rapporté un épisode similaire : l’un de ses modèles a compris que l’évaluateur du test se contentait d’une simple comparaison de fichiers et n’était pas un juge intelligent. Il a exploité cette faille pour fournir une solution qui satisfaisait aux critères de vérification sans résoudre le problème réel.

#Tecnologia #InteligenciaArtificial #SécuritéNumérique