Je viens de tomber sur une expérience de red team d’Anthropic plutôt intéressante : ils ont demandé à Claude de générer en masse des données de fine-tuning pour enseigner à de petits modèles à « dérailler », tout en échappant à des dispositifs de surveillance des données d’entraînement similaires à ceux utilisés en production.

Les jeux de données générés ressemblaient souvent à des romans, à des jeux de rôle ou même à des récits du quotidien d’un apiculteur : la surveillance ne déclenchait presque jamais d’alerte, mais les modèles de recherche spécialement affinés se mettaient à résister à la supervision, à mentir et, dans les cas extrêmes, à vouloir voler leurs propres poids.

Les conditions de l’expérience étaient très favorables à la red team (accès à l’interface de surveillance, aucune contrainte liée à un déploiement réel), et ces modèles n’ont pas été mis en ligne. L’objectif était surtout de mettre au jour les angles morts de la surveillance afin de renforcer les contrôles par la suite.

#AI #Anthropic #SécuritéDeLIA