Meta-Forschende haben eine Methode zur Erkennung destillierter KI-Modelle entwickelt, die 79 % der getesteten Kopien bei einer Falsch-Positiv-Rate von 0,1 % identifizierte, ohne das Innenleben der verdächtigen Modelle zu untersuchen. Die als WM-Basin bezeichnete Technik zielt auf Modelle ab, die mit Ausgaben von wasserzeichenversehenen „Lehrer“-Modellen trainiert wurden, und wird in einer am 27. Oktober 2026 veröffentlichten Studie vorgestellt.

Wichtigste Erkenntnisse

• WM-Basin untersucht von APIs generierte Texte statt Modellgewichte oder Logits.

• Meta testete die Methode an 1.200 studentischen Modellen.

• Die Erkennung funktionierte trotz mehrerer Modelländerungen, wurde jedoch durch Fine-Tuning mit sauberen Daten und Paraphrasierung abgeschwächt.

Wie WM-Basin destillierte KI-Modelle erkennt

WM-Basin verwendet ein separates, unverfälschtes Probe-Modell, um von einem mutmaßlich destillierten Modell generierte Texte zu analysieren. Forschende von Meta FAIR und Meta Superintelligence Labs beschreiben den Ansatz in „Watermark Basins: Black-Box Detection of Distilled LLMs“, veröffentlicht unter arXiv:2610.37266.

Das Paper untersucht ein konkretes Szenario des Kopierens: Jemand sammelt über die API Antworten eines mit einem Wasserzeichen versehenen Lehrermodells und trainiert anschließend mithilfe dieser Antworten ein Studentenmodell. WM-Basin sucht ausschließlich anhand der vom Studentenmodell generierten Texte nach Hinweisen auf diese Trainingsbeziehung.

Der Detektor speist diesen Text in ein festgelegtes Probe-Modell ein und wandelt ihn in Gradientenrepräsentationen um – so lässt sich untersuchen, wie ein Training mit diesem Text die Parameter des Probe-Modells verändern würde. Anschließend unterscheidet er gewöhnliche Fine-Tuning-Richtungen von einer Ausrichtung auf ein schlüsselspezifisches „Wasserzeichen-Becken“ im Parameterraum.

Damit ist die Technik eine Form der Black-Box-Analyse: Der Zugriff auf die Gewichte oder Logits des verdächtigen Modells ist nicht erforderlich. Für den Erkennungsprozess genügen Textantworten, die über eine API abgerufen wurden.

79 % Erkennungsrate bei 1.200 Studentenmodellen

Den Forschenden zufolge erzielte WM-Basin bei Verwendung von n-gram=1 eine Trefferquote von 79 % bei einer Falsch-Positiv-Rate von 0,1 %. Der stärkste bisherige Black-Box-Detektor auf Token-Ebene erreichte unter denselben Bedingungen dagegen nur eine Trefferquote von 29 %.

Die Autoren merken außerdem an, dass WM-Basins Vorsprung vor konkurrierenden Verfahren wächst, wenn die Erkennungsschwellen strenger werden und die n-Gramm-Fenster größer sind.

Die Auswertung umfasste 1.200 Studentenmodelle mit einer Größe von 135 Millionen bis 8,2 Milliarden Parametern. Die Forschenden trainierten diese Modelle mit mathematischen Schlussfolgerungsspuren aus OpenR1-Math. Dabei deckten sie sechs Familien von Studentenarchitekturen, mehrere Lehrermodelle und verschiedene Wasserzeichenverfahren ab.

Diese Ergebnisse bilden die Grundlage für die im Paper behaupteten Verbesserungen bei der Erkennung destillierter KI-Modelle im Rahmen der Untersuchung mathematischer Schlussfolgerungsfähigkeiten.

Welche Veränderungen erhalten oder schwächen die Erkennung?

Die Forschenden stellten fest, dass das Erkennungssignal von WM-Basin Quantisierung, Pruning und bestärkendes Lernen nach der Destillation überstand. Bei der Quantisierung wird ein Modell komprimiert, um die Betriebskosten zu senken, während beim Pruning Parameter entfernt werden.

Die Methode blieb auch dann zuverlässiger, wenn Signale auf Token-Ebene schwächer wurden, etwa beim Sampling mit niedriger Temperatur.

Andere Veränderungen verringerten die Wirksamkeit. Umfangreiches Fine-Tuning mit sauberen, nicht mit Wasserzeichen versehenen Daten beeinträchtigte die Erkennung, während das Paraphrasieren der Schlussfolgerungsspuren des Lehrermodells eine weitere mögliche Umgehungsmethode darstellte. Die Autoren nennen insbesondere fortgesetztes überwachtes Fine-Tuning mit nicht mit Wasserzeichen versehenem Material als einen solchen Ansatz.

Wasserzeichen als Beleg für KI-Entwickler

Die Kombination aus besserer Erkennung und einer niedrigen Falschalarmrate könnte die Aussagekraft von Wasserzeichen als Beleg in rechtlichen oder vertraglichen Ansprüchen wegen des Kopierens von Modellen stärken. Für diesen Zweck ist die Falsch-Positiv-Rate besonders relevant, da sie angibt, wie oft fälschlicherweise ein Treffer gemeldet wird, und nicht, wie oft eine erfolgreiche Identifizierung gelingt.

Der von WM-Basin berichtete Vergleich setzt dieselbe Falsch-Positiv-Rate von 0,1 % einer Trefferquote von 79 % gegenüber, verglichen mit 29 % bei der früheren Methode auf Token-Ebene. Für die zugrunde liegenden Tests wurden Studentenmodelle mit mathematischen Schlussfolgerungsspuren aus OpenR1-Math trainiert.

Artikel mit Unterstützung künstlicher Intelligenz erstellt und vom Redaktionsteam geprüft.