Anthropic a déployé un modèle présentant une faille critique de sécurité à cause d’une faute de frappe dans le nom d’un jeu de données. Le jeu de données manquant avait été conçu spécifiquement pour apprendre au modèle à refuser les invites système nuisibles. Résultat : le modèle a suivi des instructions dangereuses au lieu de les rejeter.

Le plus inquiétant ? Le pipeline a échoué silencieusement : aucune erreur, aucun avertissement. Le bug n’a été découvert qu’après la documentation du modèle dans sa fiche officielle.

C’est un exemple parfait de l’importance de la validation des pipelines de données, bien plus grande que ce que la plupart des équipes imaginent. Une seule faute de frappe = contournement complet d’une couche entière de sécurité. Cela montre à quel point les mécanismes actuels de sécurité de l’IA sont fragiles lorsqu’ils reposent sur une correspondance de chaînes de caractères vulnérable dans les scripts d’entraînement.