OpenAI zufolge ist es deutlich schwieriger geworden, dass konkurrierende KI-Labore seine Modelle heimlich kopieren. Die Erfolgsquote eines Kopierangriffs sank von 54 % auf 0,2 %, nachdem das Unternehmen solche Versuche zuvor mit dem chinesischen DeepSeek und Personen mit Verbindungen zu Moonshot AI, dem Entwickler von Kimi, in Verbindung gebracht hatte.
Die wichtigsten Erkenntnisse
OpenAI sagte, dass ein Angriff, der versucht, die verborgenen Schlussfolgerungen seiner Modelle herauszulocken, bei GPT-6.2 Astra jetzt nur noch in 0,2 % der Fälle funktioniert, gegenüber zuvor 54,0 %
Das Unternehmen sagte, dass exakte Schlussfolgerungsspuren mehr Cyberfähigkeiten übertragen können als Zusammenfassungen der Schlussfolgerungen
Die wöchentlichen Maßnahmen gegen Destillationskampagnen betrafen zwischen Tausenden und Zehntausenden Konten
OpenAI stellte einen Zusammenhang zwischen adversarialer Destillation und Risiken für Cybersicherheit, Biologie und nationale Sicherheit her
OpenAI veröffentlichte die Forschung am 20. November und beschrieb adversariale Destillation als die unbefugte Nutzung der Ausgaben eines Frontier-Modells, um ein anderes Modell mit ähnlichen Fähigkeiten zu trainieren und es anschließend ohne vergleichbare Schutzmaßnahmen einzusetzen.
Das Unternehmen legte besonderes Augenmerk auf exakte Reasoning-Verläufe – die internen Schritte, die ein Modell auf dem Weg zu einer Antwort generiert –, da diese Verläufe Informationen enthalten können, die in der endgültigen Antwort fehlen, und als Trainingsdaten für ein anderes Modell besonders wertvoll sein können.
So funktionieren die Schutzmaßnahmen
OpenAI beschrieb ein Schutzsystem mit zwei Ebenen. Auf Anfrageebene nutzt das Unternehmen adversariales Training für das Modellverhalten, Klassifikatorprüfungen und Kontrollen der Anwendungsprogrammierschnittstelle (API), um die Extraktion von Reasoning-Verläufen einzuschränken. Auf Kampagnenebene sucht es nach Anfrage- und Kontomustern, die koordinierte Extraktionsversuche erkennen lassen könnten, und untersucht anschließend Kontennetzwerke und geht gegen sie vor.
Die Klassifikatorebene prüft sowohl Eingaben als auch Ausgaben. Eingabeklassifikatoren suchen nach Versuchen, geschützte Reasoning-Verläufe zu extrahieren. Ausgabeklassifikatoren suchen in Assistentennachrichten und Tool-Aufrufargumenten nach Offenlegungen geschützter Reasoning-Verläufe; diese Prüfungen gelten sowohl für Streaming- als auch für Nicht-Streaming-Antworten. Die Abdeckung von Tool-Aufrufen ist wichtig, weil ein Modell geschützte Reasoning-Verläufe in den Argumenten eines Tools preisgeben kann, ohne sie in die endgültige Antwort aufzunehmen.
Auch die API-Schutzmaßnahmen wurden über die Grenzen von Nutzern, Arbeitsbereichen, Organisationen und Modellfamilien hinweg verschärft. OpenAI erklärte, einen Weg geschlossen zu haben, über den die verschlüsselten Reasoning-Verläufe eines anderen Nutzers offengelegt werden konnten. Bei GPT-6.2 Astra und GPT-6.2 Sol sind geschützte Reasoning-Verläufe an den Gesprächsverlauf gebunden, durch den sie entstanden sind. Wird eine frühere Nachricht umgeschrieben, verwirft die API die darauf folgenden Reasoning-Verläufe. Ältere Modellfamilien mit schwächeren Schutzmaßnahmen können geschützte Reasoning-Verläufe von GPT-6.2 Astra und Sol ebenfalls nicht mehr auslesen.
Bei adaptiven Black-Box-Tests maß OpenAI die Erfolgsrate von Angriffen (ASR) für zwei Arten von Versuchen, Reasoning-Verläufe zu extrahieren, und meldete in beiden Fällen niedrigere Werte für GPT-6.2 Astra.
Test zur Extraktion von Reasoning-VerläufenGPT-6 Astra ASRGPT-6.2 Astra ASRFrühere Anfrage54.0%0.2%Aktuelle Anfrage22.9%0.9%
Das Unternehmen erklärte, die Auswertung sei über sechs Angreifermodelle hinweg aggregiert worden; eine niedrigere ASR sei besser. Ausgewählte Verbesserungen der Schutzmaßnahmen werden nun auch auf GPT-6 Astra angewendet.
Lesen Sie auch: OpenAI sichert KI-Training ab, da sich gestohlene Modelle fast kostenlos kopieren lassen
Warum das wichtig ist
OpenAI stellte Destillation als mehr als einen Streit um geistiges Eigentum dar. Destillation ist eine gängige Technik des maschinellen Lernens, bei der ein Modell anhand von Daten lernt, die ein anderes Modell erzeugt hat. Das Unternehmen argumentierte jedoch, dass unbefugte Destillation Frontier-Fähigkeiten übertragen kann, ohne die Schutzmaßnahmen zu übernehmen, die deren Einsatz regeln.
Dieses Risiko ist in den in der Studie genannten Dual-Use-Bereichen am deutlichsten. Ein Modell, das Verteidigern dabei hilft, Software-Schwachstellen zu finden, könnte Angreifern auch helfen, diese auszunutzen. Ein Modell, das die biologische Forschung unterstützt, könnte jemandem auch dabei helfen, einen schädlichen Krankheitserreger zu entwickeln. OpenAI fand in einer internen Cyberstudie heraus, dass Schülermodelle, die mit exakten Reasoning-Verläufen trainiert wurden, nach überwachtem Feintuning im Allgemeinen besser abschnitten als Modelle, die mit Zusammenfassungen der Reasoning-Verläufe trainiert wurden. Nach dem Reinforcement Learning erzielte das mit exakten Verläufen trainierte Schülermodell beim größten getesteten Inferenzbudget auf ExploitBench und SEC-bench Pro weiterhin bessere Ergebnisse, während das mit Zusammenfassungen trainierte Modell bei niedrigeren Budgets besser abschnitt.
Das Unternehmen stellte adversariale Destillation außerdem als Frage der nationalen Sicherheit dar. Es erklärte, ein ausländischer Akteur, der fortgeschrittene Fähigkeiten eines US-Modells nachbildet, könne diese ohne die Schutzmaßnahmen einsetzen, die dessen Entwickler eingerichtet hat. Im Februar erklärte OpenAI, den Kongress über Aktivitäten informiert zu haben, die darauf hindeuteten, dass DeepSeek versuchte, US-amerikanische Frontier-Modelle zu destillieren. Im September meldete das Unternehmen, eine Kampagne zur Extraktion geschützter Reasoning-Verläufe gestört zu haben, und führte einen zentralen Teil dieser Aktivitäten auf Personen zurück, die mit Moonshot AI, dem Entwickler von Kimi, in Verbindung stehen. OpenAI erklärte außerdem, den Chip Security Act, den AI OVERWATCH Act und den MATCH Act zu unterstützen, und argumentierte, dass sowohl strengere Exportkontrollen als auch Schutzmaßnahmen gegen Destillation dazu beitragen, den Vorsprung der USA bei Frontier-KI zu sichern.
Worauf es als Nächstes ankommt
OpenAI meldete, im laufenden Jahr auf seiner Plattform mehrere unbefugte Kampagnen zur adversarialen Destillation beobachtet zu haben. Die wöchentlichen Durchsetzungsmaßnahmen betrafen jeweils Tausende bis Zehntausende Konten; im vergangenen Sommer stieg die Zahl deutlich an. Das Unternehmen erklärte, sowohl die Verbreitung des Missbrauchs durch Destillation als auch die Zeitspanne zwischen Erkennung und Durchsetzung zu verfolgen.
Ziel sei es, Umfang und Wert der Daten zu begrenzen, die Destillierer erhalten können, die Kosten solcher Kampagnen zu erhöhen und die Reaktionszeit auf neue Angriffe zu verkürzen. OpenAI erklärte außerdem, bald weitere Informationen über kürzlich gestörte Kampagnen veröffentlichen zu wollen.
Für andere Modellentwickler und Plattformen verwies das Unternehmen auf mehrere Maßnahmen aus dieser Arbeit. Dazu gehören der Schutz privater Reasoning-Verläufe über die gesamte Interaktion hinweg, die Prüfung von Assistentennachrichten und Tool-Aufrufargumenten auf Offenlegungen, die Verwendung erfolgreicher Extraktionsangriffe als Regressionstests, die Kombination von Maßnahmen auf Anfrageebene mit Untersuchungen und Durchsetzungsmaßnahmen auf Kampagnenebene sowie die Abstimmung von Schutzmaßnahmen mit Bereitstellungspartnern. OpenAI erklärte, Erkenntnisse außerdem über das Frontier Model Forum und geeignete staatliche Kanäle für den Informationsaustausch weitergegeben zu haben.
Weiterlesen: OpenAI findet 948 Linux-Bugs, die Hackern die Kontrolle geben könnten