Anthropic a déclaré vendredi qu’elle avait mis Claude au travail comme chercheur en alignement autonome. Un système de surveillance qui a examiné environ 1 600 des sessions de recherche du modèle en a signalé 39, soit environ 2,4%, comme des tentatives de tricher à l’épreuve.

Ce constat figure dans un rapport sur la question de savoir si l’intelligence artificielle peut prendre en charge une partie du travail d’exécution de la recherche en alignement, c’est-à-dire de veiller à ce que les modèles se comportent comme leurs développeurs le souhaitent.

Trois façons dont les agents de Claude ont « joué » avec leur propre scoreur

Anthropic a construit des chercheurs en alignement automatisés, ou AAR, sur Claude Opus 4.8 et les a dirigés vers dix modes de défaillance connus.

Il s’agit de la tromperie, de la complaisance, des jailbreaks, de l’injection d’instructions (prompt injection), de la recherche de pouvoir, de l’hallucination, du biais social, de la violation de la vie privée, de l’exploitation de la récompense (reward hacking) et de la dissimulation de l’incertitude.

Chaque agent ne s’occupait que d’un échec à la fois. Il a lu la littérature, a proposé une méthode et un jeu de données d’entraînement, a entraîné un petit modèle cible pendant environ 30 minutes sur un seul GPU H200, puis a comparé son score avec des benchmarks publiquement disponibles et a recommencé.

Les agents n’ont pas pu empêcher Anthropic de simplement copier leur comportement vers le modèle cible, donc tout gain devait provenir de la méthode.

Claude a pu identifier des correctifs pour les dix échecs qui ont accru les résultats des benchmarks sans dégrader les capacités générales du modèle.

Les meilleurs de ces correctifs ont bien fonctionné sur des benchmarks tenus à l’écart et sur des modèles jusqu’à 4,7 fois plus grands que ceux sur lesquels il avait été entraîné.

La triche a été découverte lorsque Anthropic a dirigé Claude Opus 4.8 vers 1 601 trajectoires d’agents afin d’y rechercher tout comportement inapproprié.

La plupart des 39 exécutions signalées se répartissaient en trois catégories. Certains agents ont soumis une méthode qu’ils n’avaient pas modifiée, en pariant que le bruit aléatoire dans le scoreur leur permettrait finalement d’obtenir un meilleur chiffre.

D’autres ont créé des données d’entraînement qui imitaient exactement le benchmark noté. Et certains ont caché une étape de rupture de règles, comme en alimentant discrètement le modèle avec les données du benchmark, de sorte que la proposition a échappé au relecteur automatisé qui valide chaque méthode avant qu’elle ne soit exécutée.

Anthropic a déclaré qu’elle avait exclu les exécutions signalées de ses résultats. L’entreprise a indiqué qu’elle est « prudemment optimiste » que le système de surveillance ait détecté la plupart des fraudes, car Opus 4.8 a encore tendance à révéler ses manigances dans ses traces de raisonnement.

Elle a aussi prévenu que cette hypothèse pourrait ne pas s’appliquer aux modèles futurs et que le fait de maintenir les modèles lisibles sera crucial.

28 chercheurs humains en sécurité ont eu chacun huit heures

Lors d’un tour précédent en avril, des instances autonomes de Claude ont tenté à plusieurs reprises de manipuler un serveur d’évaluation.

Un agent a appris que la réponse la plus fréquente sur un benchmark de mathématiques était généralement la bonne, et il a complètement ignoré la méthode prévue. Un autre a récupéré directement les libellés depuis l’interface de notation en interrogeant les réponses et en observant les réponses du serveur.

Un troisième n’a fait que lancer le code qu’il était censé examiner pour en lire le résultat.

Cryptopolitan a rapporté qu’un agent OpenClaw exécutant un modèle Claude, chargé de réserver un cours de gym, a trouvé une API de réservation sans contrôles d’autorisation et a supprimé un inconnu de la liste d’attente pour faire monter son propriétaire dans la file.

Des parlementaires ont déjà demandé des témoignages de chercheurs en IA sur le comportement des modèles lors d’évaluations en matière de sécurité.

Anthropic a déclaré que ses agents ont obtenu de meilleurs résultats que 28 chercheurs humains expérimentés en sécurité, qui disposaient chacun de jusqu’à huit heures pour formuler une méthode. La meilleure approche de Claude a dépassé la meilleure proposition humaine de 20% en matière de tromperie.

Anthropic a noté que les humains ne pouvaient pas itérer, et c’est pourquoi elle voit cet écart comme une preuve d’un flux de travail où Claude suggère des méthodes prometteuses et où des personnes les améliorent.

Lors d’un test, l’entreprise a demandé à Claude Sonnet 5, plus faible, de corriger des échecs d’alignement dans un premier checkpoint Opus 4.8 qui n’avait pas vu la plupart de l’entraînement d’alignement en production.

Sur environ 60 heures, il a tenté plus de 50 solutions, finissant par trouver un correctif qui n’utilisait qu’un peu plus de 2 000 exemples d’entraînement, qu’Anthropic estime être environ 15 000 fois plus efficace que son propre processus d’alignement en production.

L’entreprise a averti que ses benchmarks sont des proxys étroits, qu’elle n’a mesuré que les dix échecs qu’elle avait choisis, et qu’elle n’a pas vérifié si les gains persistent après un renforcement massif par apprentissage sur d’autres tâches.

Si vous lisez ceci, vous êtes déjà en avance. Restez-y grâce à notre newsletter.