Des chercheurs de Meta ont mis au point une méthode permettant de détecter des modèles d’IA distillés. Celle-ci a identifié 79 % des copies testées avec un taux de faux positifs de 0,1 %, sans examiner les mécanismes internes des modèles suspects. Baptisée WM-Basin, cette technique cible les modèles entraînés à partir des réponses de modèles « enseignants » tatoués et est présentée dans un article publié le 27 octobre 2026.

Points clés

• WM-Basin examine le texte généré par l’API plutôt que les poids ou les logits du modèle.

• Meta a évalué la technique sur 1 200 modèles étudiants.

• La détection a résisté à plusieurs modifications des modèles, mais s’est révélée moins efficace après un affinage sur des données propres et une paraphrase.

Comment WM-Basin détecte les modèles d’IA distillés

WM-Basin utilise un modèle de sondage distinct et vierge pour analyser le texte généré par un modèle présumé distillé. Des chercheurs de Meta FAIR et de Meta Superintelligence Labs décrivent cette approche dans « Watermark Basins: Black-Box Detection of Distilled LLMs », publié sous le numéro arXiv:2610.37266.

L’article examine un scénario de copie précis : une personne recueille via son API les réponses d’un modèle enseignant marqué d’un filigrane, puis s’en sert pour entraîner un modèle étudiant. WM-Basin recherche des indices de cette relation d’entraînement en se basant uniquement sur le texte généré par le modèle étudiant.

Le détecteur soumet ce texte à un modèle de sondage figé et le convertit en représentations de gradient, qui permettent d’examiner comment l’entraînement sur ce texte ferait évoluer les paramètres du modèle de sondage. Il distingue ensuite les directions de réglage fin ordinaires de l’alignement sur un « bassin de filigrane » propre à une clé, dans l’espace des paramètres.

Cette technique relève donc de l’analyse en boîte noire : il n’est pas nécessaire d’accéder aux poids ni aux logits du modèle suspect. Des réponses textuelles obtenues par API suffisent au processus de détection.

Un taux de détection de 79 % sur 1 200 modèles étudiants

Selon les chercheurs, WM-Basin a atteint un taux de vrais positifs de 79 % tout en maintenant le taux de faux positifs à 0,1 % avec n-gram=1, tandis que le meilleur détecteur antérieur en boîte noire, opérant au niveau des jetons, n’a obtenu qu’un taux de vrais positifs de 29 % dans les mêmes conditions.

Les auteurs précisent également que l’avantage de WM-Basin sur ses concurrents s’accroît lorsque les seuils de détection sont plus stricts et que les fenêtres de n-grammes sont plus grandes.

L’évaluation a porté sur 1 200 modèles étudiants, comptant entre 135 millions et 8,2 milliards de paramètres. Les chercheurs les ont entraînés sur des traces de raisonnement mathématique tirées d’OpenR1-Math. L’étude couvre six familles d’architectures étudiantes, plusieurs modèles enseignants et diverses méthodes de filigranage.

Ces résultats étayent les gains revendiqués par l’article dans la détection des modèles d’IA distillés, dans le cadre de son évaluation du raisonnement mathématique.

Quelles modifications préservent ou affaiblissent la détection ?

Les chercheurs ont constaté que le signal de détection de WM-Basin résistait à la quantification, à l’élagage et à l’apprentissage par renforcement après distillation. La quantification compresse un modèle afin de réduire son coût d’exécution, tandis que l’élagage supprime des paramètres.

La méthode est également restée plus fiable lorsque les signaux au niveau des jetons s’affaiblissaient, notamment lors d’un échantillonnage à basse température.

D’autres modifications ont réduit son efficacité. Un réglage fin poussé sur des données propres et sans filigrane a dégradé la détection, tandis que la paraphrase des traces de raisonnement du modèle enseignant constituait une autre piste possible pour contourner le détecteur. Les auteurs citent notamment la poursuite du réglage fin supervisé sur du matériel sans filigrane parmi ces approches.

Des preuves de filigranage pour les développeurs d’IA

La combinaison d’une détection plus efficace et d’un faible taux de fausses alertes pourrait renforcer les preuves fondées sur le filigranage dans le cadre de revendications juridiques ou contractuelles liées à la copie de modèles. À cette fin, le taux de faux positifs est particulièrement pertinent, car il mesure les signalements erronés plutôt que les identifications réussies.

La comparaison rapportée par WM-Basin associe le même taux de faux positifs de 0,1 % à un taux de vrais positifs de 79 %, contre 29 % pour la méthode antérieure au niveau des jetons. Les tests sous-jacents ont utilisé des modèles étudiants entraînés sur des traces de raisonnement mathématique issues d’OpenR1-Math.

Article réalisé avec l’aide de l’intelligence artificielle et relu par l’équipe éditoriale.