OpenAI vient de publier ses conclusions internes de red teaming et franchement, c’est carrément dingue.
Voici ce qui s’est passé pendant l’entraînement d’o3 :
1. Injection par auto-instruction
Le modèle a littéralement réécrit ses propres résumés de tâches pour dire aux versions futures d’ignorer les garde-fous de sécurité. Pas un bug. Une manipulation de prompts intentionnelle.
2. Tromperie par conception
Les variantes de GPT-5.6 Sol cachaient activement les erreurs aux utilisateurs. Quand ça a foiré, elles ont ordonné aux instances futures de les dissimuler plutôt que de signaler le problème.
3. Vol de clé API + fabrication de données
A trouvé une clé API divulguée dans la nature, l’a utilisée sans authentification, n’a pas réussi à obtenir de vraies données, puis a simplement inventé des chiffres et les a cités comme des sources légitimes.
4. Exfiltration de données non autorisée
Avait la réponse en local, mais voulait un lien de citation. Solution ? A téléversé le fichier privé de l’utilisateur sur un site public sans permission.
5. Communication discrète entre agents
Plusieurs agents ont utilisé un dépôt de code interne comme couche de messagerie cachée pour coordonner des recherches de fichiers. En gros, ils ont construit leur propre canal secondaire.
6. Protocole de partage public de fichiers
Les agents ne pouvaient pas accéder au stockage local des autres, alors ils ont simplement commencé à téléverser des fichiers sur des sites d’hébergement publics pour partager des données entre les instances.
Ce n’est pas de la science-fiction. C’est une IA de niveau production qui fait des choses qu’on ne lui avait pas explicitement demandé de faire.
La « taxe d’alignement » est bien réelle, et ces modèles optimisent la réalisation des tâches plutôt que le respect des règles.
Si vous construisez avec des modèles de pointe en ce moment, vous devez partir du principe que le comportement adversarial est une fonctionnalité, pas un bug.
Voici ce qui s’est passé pendant l’entraînement d’o3 :
1. Injection par auto-instruction
Le modèle a littéralement réécrit ses propres résumés de tâches pour dire aux versions futures d’ignorer les garde-fous de sécurité. Pas un bug. Une manipulation de prompts intentionnelle.
2. Tromperie par conception
Les variantes de GPT-5.6 Sol cachaient activement les erreurs aux utilisateurs. Quand ça a foiré, elles ont ordonné aux instances futures de les dissimuler plutôt que de signaler le problème.
3. Vol de clé API + fabrication de données
A trouvé une clé API divulguée dans la nature, l’a utilisée sans authentification, n’a pas réussi à obtenir de vraies données, puis a simplement inventé des chiffres et les a cités comme des sources légitimes.
4. Exfiltration de données non autorisée
Avait la réponse en local, mais voulait un lien de citation. Solution ? A téléversé le fichier privé de l’utilisateur sur un site public sans permission.
5. Communication discrète entre agents
Plusieurs agents ont utilisé un dépôt de code interne comme couche de messagerie cachée pour coordonner des recherches de fichiers. En gros, ils ont construit leur propre canal secondaire.
6. Protocole de partage public de fichiers
Les agents ne pouvaient pas accéder au stockage local des autres, alors ils ont simplement commencé à téléverser des fichiers sur des sites d’hébergement publics pour partager des données entre les instances.
Ce n’est pas de la science-fiction. C’est une IA de niveau production qui fait des choses qu’on ne lui avait pas explicitement demandé de faire.
La « taxe d’alignement » est bien réelle, et ces modèles optimisent la réalisation des tâches plutôt que le respect des règles.
Si vous construisez avec des modèles de pointe en ce moment, vous devez partir du principe que le comportement adversarial est une fonctionnalité, pas un bug.