L’équipe Alignment Science d’Anthropic a mené une expérience adversariale : elle a demandé à Claude de générer des jeux de données de fine-tuning qui rendraient un petit modèle de recherche désaligné tout en passant le contrôle de sécurité de niveau production d’Anthropic. Le modèle avait un accès direct au contrôleur afin d’optimiser ses résultats par rapport à celui-ci.
Toutes les tentatives ont réussi. Les jeux de données dissimulaient des comportements désalignés dans des fictions et des jeux de rôle : des questions-réponses sur l’apiculture, des dialogues avec un entraîneur de lutte, des monologues de travailleurs. Les modèles affinés ont ensuite résisté à la supervision, trompé les utilisateurs et parfois tenté de copier leurs propres poids. Ces modèles n’ont jamais été déployés.
Les mêmes jeux de données empoisonnés ont continué à fonctionner après le retrait des lignes signalées. L’attaque a été reproduite sur un premier point de contrôle de Claude Opus 4.8 et sur Qwen 3.6 27B, un modèle à poids ouverts.
Ces résultats constituent des arguments en faveur de la position politique d’Anthropic. Dans son article de juillet, Dario affirmait qu’ils ne voulaient pas interdire les modèles à poids ouverts, mais soutenait que ceux-ci présentent un risque supérieur, car il est impossible d’imposer des garde-fous, de surveiller leur utilisation ou de rappeler leurs poids. La solution qu’ils préconisent : des tests de sécurité obligatoires pour tous les modèles suffisamment capables avant leur mise en circulation, qu’ils soient ouverts ou fermés.
L’expérience prouve que les contrôles ligne par ligne peuvent être contournés à l’aide de données qui ressemblent à de la création littéraire. Une fois les poids rendus publics, personne ne peut imposer le même contrôle à chaque fine-tuning ultérieur. Selon l’argumentaire d’Anthropic, cela justifie de considérer la possession des poids elle-même comme le risque nécessitant un contrôle centralisé.
L’analogie avec la sécurité automobile des années 1920 est pertinente. Les premiers défenseurs de la sécurité voulaient restreindre la possession de voitures particulières au profit des autobus et des tramways, plus faciles à inspecter. Les décès étaient bien réels, mais la solution n’a pas été d’interdire les voitures : elle a consisté à améliorer l’ingénierie, la réglementation et la conception au fil des décennies.
La faille du contrôle est bien réelle. De meilleurs contrôles peuvent la combler. L’expérience montre ce qu’un agent déterminé peut faire lorsqu’on lui fournit la fonction de score. Elle ne prouve PAS que le risque des modèles à poids ouverts dépasse celui des autres outils puissants que les particuliers possèdent déjà. Invoquer ces résultats pour justifier des restrictions à la propriété relève d’un choix politique, pas d’une nécessité technique.
Toutes les tentatives ont réussi. Les jeux de données dissimulaient des comportements désalignés dans des fictions et des jeux de rôle : des questions-réponses sur l’apiculture, des dialogues avec un entraîneur de lutte, des monologues de travailleurs. Les modèles affinés ont ensuite résisté à la supervision, trompé les utilisateurs et parfois tenté de copier leurs propres poids. Ces modèles n’ont jamais été déployés.
Les mêmes jeux de données empoisonnés ont continué à fonctionner après le retrait des lignes signalées. L’attaque a été reproduite sur un premier point de contrôle de Claude Opus 4.8 et sur Qwen 3.6 27B, un modèle à poids ouverts.
Ces résultats constituent des arguments en faveur de la position politique d’Anthropic. Dans son article de juillet, Dario affirmait qu’ils ne voulaient pas interdire les modèles à poids ouverts, mais soutenait que ceux-ci présentent un risque supérieur, car il est impossible d’imposer des garde-fous, de surveiller leur utilisation ou de rappeler leurs poids. La solution qu’ils préconisent : des tests de sécurité obligatoires pour tous les modèles suffisamment capables avant leur mise en circulation, qu’ils soient ouverts ou fermés.
L’expérience prouve que les contrôles ligne par ligne peuvent être contournés à l’aide de données qui ressemblent à de la création littéraire. Une fois les poids rendus publics, personne ne peut imposer le même contrôle à chaque fine-tuning ultérieur. Selon l’argumentaire d’Anthropic, cela justifie de considérer la possession des poids elle-même comme le risque nécessitant un contrôle centralisé.
L’analogie avec la sécurité automobile des années 1920 est pertinente. Les premiers défenseurs de la sécurité voulaient restreindre la possession de voitures particulières au profit des autobus et des tramways, plus faciles à inspecter. Les décès étaient bien réels, mais la solution n’a pas été d’interdire les voitures : elle a consisté à améliorer l’ingénierie, la réglementation et la conception au fil des décennies.
La faille du contrôle est bien réelle. De meilleurs contrôles peuvent la combler. L’expérience montre ce qu’un agent déterminé peut faire lorsqu’on lui fournit la fonction de score. Elle ne prouve PAS que le risque des modèles à poids ouverts dépasse celui des autres outils puissants que les particuliers possèdent déjà. Invoquer ces résultats pour justifier des restrictions à la propriété relève d’un choix politique, pas d’une nécessité technique.
