OpenAI affirme avoir considérablement compliqué la tâche des laboratoires d’IA rivaux qui cherchent à copier secrètement ses modèles, en faisant passer le taux de réussite d’une attaque de copie de 54 % à 0,2 %, après avoir précédemment établi un lien entre de telles tentatives, DeepSeek, en Chine, et des personnes liées à Moonshot AI, le créateur de Kimi.
À retenir
OpenAI a déclaré qu’une attaque visant à extraire le raisonnement caché de ses modèles ne fonctionne désormais que dans 0,2 % des cas sur GPT-6.2 Astra, contre 54,0 % auparavant
L’entreprise a déclaré que les traces de raisonnement exactes peuvent transmettre davantage de capacités cybernétiques que les résumés de raisonnement
Les mesures hebdomadaires contre les campagnes de distillation ont visé de quelques milliers à plusieurs dizaines de milliers de comptes
OpenAI a établi un lien entre la distillation adversariale et les risques liés à la cybersécurité, à la biologie et à la sécurité nationale
OpenAI a publié ses recherches le 20 novembre et décrit la distillation adversariale comme l’utilisation non autorisée des sorties d’un modèle de pointe pour entraîner un autre modèle aux capacités similaires, puis le déployer sans protections comparables.
L’entreprise a particulièrement insisté sur les traces de raisonnement exactes, c’est-à-dire les étapes internes générées par un modèle lorsqu’il cherche à formuler une réponse. Ces traces peuvent contenir des informations absentes de la réponse finale et devenir des données d’entraînement particulièrement précieuses pour un autre modèle.
Fonctionnement des défenses
OpenAI a décrit un dispositif de protection à deux niveaux. Au niveau des requêtes, l’entreprise utilise l’entraînement adversarial pour le comportement des modèles, des vérifications par classificateur et des contrôles de l’interface de programmation d’applications (API) afin de limiter l’extraction des traces de raisonnement. Au niveau des campagnes, elle recherche des schémas de requêtes et de comptes susceptibles de révéler des tentatives d’extraction coordonnées, puis enquête et prend des mesures contre les réseaux de comptes concernés.
La couche de classificateurs couvre à la fois les entrées et les sorties. Les classificateurs d’entrée recherchent les tentatives d’extraction de raisonnements protégés. Les classificateurs de sortie détectent les fuites de raisonnements protégés dans les messages de l’assistant et les arguments des appels d’outils. Ces vérifications s’appliquent aux réponses en continu comme aux réponses sans diffusion en continu. La couverture des appels d’outils est importante, car un modèle peut exposer un raisonnement protégé dans les arguments d’un outil sans l’inclure dans la réponse finale.
Les protections de l’API ont également été renforcées entre les utilisateurs, les espaces de travail, les organisations et les familles de modèles. OpenAI a indiqué avoir fermé une voie qui pouvait exposer le raisonnement chiffré d’un autre utilisateur. Avec GPT-6.2 Astra et GPT-6.2 Sol, le raisonnement protégé est associé à l’historique de conversation qui l’a produit. Si un message antérieur est réécrit, l’API supprime le raisonnement qui le suivait. L’accès au raisonnement protégé de GPT-6.2 Astra et Sol est également bloqué pour les anciennes familles de modèles dont les protections sont moins robustes.
Lors de tests adaptatifs en boîte noire, OpenAI a mesuré le taux de réussite des attaques (ASR) pour deux types de tentatives d’extraction de raisonnement et a fait état de résultats plus faibles dans les deux cas avec GPT-6.2 Astra.
Test d’extraction de raisonnementGPT-6 Astra ASRGPT-6.2 Astra ASRRequête antérieure54.0%0.2%Requête actuelle22.9%0.9%
L’entreprise a indiqué que l’évaluation regroupait les résultats de six modèles d’attaquants et qu’un ASR plus faible est préférable. Elle applique désormais également certaines améliorations de protection à GPT-6 Astra.
À lire également : OpenAI verrouille l’entraînement de l’IA, alors que le coût de copie des modèles volés frôle zéro
Pourquoi est-ce important ?
OpenAI a présenté la distillation comme un enjeu dépassant celui de la propriété intellectuelle. La distillation est une technique courante d’apprentissage automatique dans laquelle un modèle apprend à partir de données produites par un autre. Cependant, l’entreprise estime qu’une distillation non autorisée peut transférer des capacités de pointe sans transférer les protections qui encadrent leur utilisation.
Ce risque est particulièrement manifeste dans les domaines à double usage mentionnés dans l’étude. Un modèle qui aide les défenseurs à trouver des vulnérabilités logicielles pourrait aussi aider un attaquant à les exploiter. Un modèle qui contribue à la recherche biologique pourrait aussi aider quelqu’un à mettre au point un agent pathogène dangereux. L’étude interne d’OpenAI sur la cybersécurité a révélé que, après un réglage fin supervisé, les modèles élèves entraînés sur des traces de raisonnement exactes surpassaient généralement ceux entraînés sur des résumés de raisonnement. Après l’apprentissage par renforcement, le modèle élève entraîné sur des traces exactes obtenait encore un meilleur score avec le budget d’inférence le plus élevé testé sur ExploitBench et SEC-bench Pro, tandis que celui entraîné sur des résumés obtenait un meilleur score avec des budgets plus faibles.
L’entreprise a également présenté la distillation adversariale comme un enjeu de sécurité nationale. Elle a déclaré qu’un acteur étranger capable de reproduire les capacités avancées d’un modèle des États-Unis peut les déployer sans les protections mises en place par son développeur. En février, OpenAI a indiqué avoir informé le Congrès d’activités suggérant que DeepSeek tentait de distiller des modèles de pointe américains. En septembre, l’entreprise a annoncé avoir perturbé une campagne visant à extraire des raisonnements protégés et a attribué une partie centrale de ces activités à des personnes associées à Moonshot AI, le développeur de Kimi. OpenAI a également déclaré soutenir le Chip Security Act, l’AI OVERWATCH Act et le MATCH Act, et a fait valoir que des contrôles à l’exportation plus stricts et des défenses contre la distillation contribuent tous deux à préserver l’avance des États-Unis dans l’IA de pointe.
Les prochains éléments à surveiller
OpenAI a indiqué avoir détecté cette année plusieurs campagnes de distillation adversariale non autorisées sur sa plateforme. Les mesures d’application hebdomadaires ont concerné de quelques milliers à plusieurs dizaines de milliers de comptes, et leur nombre a considérablement augmenté au cours de l’été. L’entreprise a déclaré suivre à la fois la fréquence des abus liés à la distillation et le délai entre leur détection et l’application des mesures.
L’objectif déclaré est de limiter le volume et la valeur des données que les distillateurs peuvent obtenir, d’augmenter le coût de ces campagnes et de réduire le temps nécessaire pour répondre aux nouvelles attaques. OpenAI a également indiqué prévoir de communiquer prochainement davantage d’informations sur les campagnes récentes qu’elle a perturbées.
Pour les autres développeurs de modèles et plateformes, l’entreprise a mis en avant plusieurs mesures issues de ces travaux : protéger le raisonnement privé tout au long de l’interaction, vérifier les messages de l’assistant et les arguments des appels d’outils afin de détecter les fuites, conserver les attaques d’extraction réussies comme tests de régression, associer des mesures d’atténuation au niveau des requêtes à des enquêtes et des mesures d’application au niveau des campagnes, et coordonner les protections avec les partenaires de déploiement. OpenAI a indiqué avoir également partagé ses conclusions par l’intermédiaire du Frontier Model Forum et des canaux gouvernementaux appropriés de partage d’informations.
À lire ensuite : OpenAI découvre 948 bogues Linux susceptibles de donner aux pirates le contrôle