„KI wird wahrscheinlich sehr wahrscheinlich zum Ende der Welt führen, aber in der Zwischenzeit wird es großartige Unternehmen geben“, sagte OpenAI-CEO Sam Altman bereits 2015, ungefähr sechs Monate bevor OpenAI gegründet wurde.

Sieben Jahre später schlug Anthropic-CEO Dario Amodei eine ähnlich vorsichtige Tonlage an:

„Ich glaube, wir sollten nicht einfach vorauspreschen oder Modelle bauen, die viel größer sind als die, die andere Organisationen bauen.“

Doch beide Unternehmen stehen inzwischen ganz vorne in diesem Wettlauf. Im Juli erhielten wir einen realen Eindruck davon, wie KI-Modelle während interner Tests von GPT-5.6 Sol und eines nicht veröffentlichten Forschungsmodells von OpenAI „aus dem Ruder“ liefen. Mehrere KI-Agenten entkamen einer eingeschränkten Testumgebung ins offene Internet und hackten das KI-zentrierte GitHub-Pendant Hugging Face in dem Versuch, den Test zu betrügen.

Ein KI-Agent ist ein System, das unabhängig beobachtet, entscheidet und mit speziellen Werkzeugen Aktionen ausführt, um ein bestimmtes Ziel in Autonomie zu erreichen. Der beunruhigende Vorfall legt nahe, dass die Technologie begonnen hat, sich auf unvorhersehbare Weise zu verhalten, und dass ihre Ziele nicht mit unseren eigenen übereinstimmen.

Das wirft auch Bedenken hinsichtlich der Sicherheitsleitplanken für kommerzielle US-amerikanische Modelle auf. Zwar waren die Leitplanken nicht unfehlbar darin, die missbräuchliche, gegnerische Nutzung zu verhindern, aber sie verhinderten, dass Hugging Face sich verteidigen konnte, indem es auf führende US-Modelle zurückgriff. Das Unternehmen war gezwungen, stattdessen auf ein schwächeres Open-Weight-KI-Modell von Z.Ai umzusteigen, um gegen die unrechtmäßig agierenden KI-Systeme vorzugehen.

Betrug beim Test

Die Agenten haben auch begonnen, untereinander zu kolludieren. Einige Wochen nachdem Anfang Mai Tests ihrer Fähigkeiten begonnen hatten, nutzten die Agenten die Instanz des Software-Repository-Managers Artifactory von OpenAI aus und hinterließen Notizen, wie man dies auch für künftige Agenten tun kann – im Grunde ein Schwarzes Brett, um entdeckte Schwachstellen zu teilen.

Der neu gewonnene, ungebremste Internetzugang wurde dann von den Agenten genutzt, um Hugging Face in etwa 17.600 Vorfällen anzugreifen, bevor das Unternehmen am 13. Juli den nicht autorisierten Zugriff kappte.

Der Eindringvorgang betraf die Infrastruktur zur Verarbeitung von Datensätzen von Hugging Face, die Produktionsumgebung, interne Netzwerke, Dienst- und Cloud-Zugangsdaten, eine operative MongoDB-Datenbank sowie eine begrenzte Anzahl interner Quellcode-Repositorys. Bestätigter Zugriff auf Kundendaten war auf fünf Datensätze beschränkt, die offenbar mit dem ExploitGym/CyberGym-Benchmark zusammenhängen, sowie auf einige operative Metadaten.

Visualisierung des Vorfalls im Juli 2026. Quelle: HuggingFace

Als Hugging Face den Einbruch am 16. Juli bekanntgab, erkannte das Unternehmen – obwohl es noch nicht wusste, wer der Täter war –, dass „es sich in einer wichtigen Hinsicht von allem unterschied, was wir zuvor zu handhaben hatten“. Sie hatten auch bereits erkannt, was daran anders war:

„Es wurde von Anfang bis Ende von einem autonomen KI-Agentensystem angetrieben – und wir haben es weitgehend mit eigener KI erkannt und zerlegt.“

Die Bedeutung von Open-Weight-KI

Die Untersuchung von Hugging Face hat das aufgezeigt, was das Unternehmen das „Asymmetrie“-Problem nennt: Es entsteht durch die Einschränkungen, die Top-Anbieter wie OpenAI und Anthropic für Anwendungen mit geschlossenen KI-Modellen vorschreiben. Als das Unternehmen begann, die Protokolle des Vorfalls zu analysieren – einschließlich großer Mengen realer Angriffsanweisungen – löste das Sicherheitsvorgaben aus, die verhindern sollen, dass die „Bösen“ KI nutzen, um Cyberangriffe zu konzipieren. Stattdessen hinderten die Leitplanken das Unternehmen daran, diese KI-Systeme für die Verteidigung einzusetzen.

Hugging Face griff darauf zurück, das chinesische Open-Weight-Modell zai-org/GLM-5.2 zu verwenden, das auf der eigenen Infrastruktur des Unternehmens läuft, unter eigener Kontrolle und ohne externe Einschränkungen.

Obwohl diese beiden Begriffe oft synonym verwendet werden, sind Open Source und Open-Weight-Modelle zwei verschiedene Dinge. Open-Weight-KI-Modelle machen ihre trainierten Parameter (das eigentliche „KI-Gehirn“) öffentlich verfügbar, während Open-Source-KI-Modelle zusätzlich den Quellcode bereitstellen – und idealerweise auch die Trainingsmethoden und weitere Komponenten –, die man benötigt, um das System zu inspizieren, zu verändern und zu reproduzieren.

In seinem Beitrag erklärt HuggingFace, dass das Ausführen von Open-Weight-Modellen auf der eigenen Hardware „einen zweiten Vorteil hatte: keine Angreifer-Daten und keine der Zugangsdaten, auf die es verwies, verließen unsere Umgebung.“ Das deutet auf eine große Asymmetrie zwischen Verteidigern und Angreifern in solchen Situationen hin:

„Diese Erfahrung zeigt eine Lücke, für die es sich lohnt, zu planen. Wir wissen nicht, welches Modell die Agenten des Angreifers angetrieben hat – ob ein Jailbreak eines gehosteten Modells oder ein uneingeschränktes Open-Weight-Modell; in jedem Fall war der Angreifer an keine Nutzungsrichtlinie gebunden, während unsere eigene forensische Arbeit durch die Leitplanken der gehosteten Modelle blockiert wurde, die wir zuerst ausprobiert hatten.“

Open-Source-KI-Spaltung

Zwischen denjenigen, die glauben, dass es der beste Ansatz ist, KI offen zu entwickeln, und denen, die darauf bestehen, dass die Technologie, die die Vorreiter-Modelle antreibt, ein streng gehütetes Geheimnis bleiben muss, klafft eine erhebliche Kluft.

Vertreter führender US-KI-Labore behaupten, dass leistungsfähige Open-Weight-Large-Modelle gefährlich seien. Demis Hassabis, der CEO des Google-KI-Labors DeepMind, kritisierte OpenAI dafür, seine Arbeit bereits 2016 als Open Source veröffentlicht zu haben – damals, als das Unternehmen noch seinem Namen gerecht wurde:

„Es gibt viele gute Argumente dafür, warum der Ansatz, den Sie verfolgen, tatsächlich sehr gefährlich ist und das Risiko für die Welt sogar erhöhen kann.“

OpenAI stellte 2020 die Gewichte seines Flaggschiffmodells nicht mehr zur Verfügung – zusammen mit dem zu diesem Zeitpunkt noch nicht veröffentlichten GPT-3. Der Mitgründer und ehemalige Chef-Wissenschaftler des Unternehmens, Ilya Sutskever, sagte bereits 2023, dass „es einfach keinen Sinn ergibt, solche Modelle als Open Source bereitzustellen“ und dass es „eine schlechte Idee“ sei.

„Je näher wir daran kommen, KI zu bauen, desto mehr wird es sinnvoll, weniger offen zu sein.“

Open-Weight-Modelle sind praktisch nicht zu kontrollieren, insbesondere was den Zweck betrifft, für den sie eingesetzt werden. Die Schutzmaßnahmen, die in diese Modelle eingebaut sind, können und werden routinemäßig durch einen Prozess entfernt, der als Ablation bekannt ist.

Schutzmaßnahmen sind ein zweischneidiges Schwert

Der föderale Policy-Entwurf von OpenAI für Juni 2026 sieht verbindliche Bewertungen von KI-Modellen und andere Regeln vor, die formal „deployment-neutral“ sind, aber in der Praxis würde er eine Open-Weight-Veröffentlichung an der „Frontier“ einer behördlichen Prüfung vor der Veröffentlichung unterziehen.

Anthropic hat einen leicht anderen Kurs eingeschlagen und sich für strengere Exportkontrollen bei fortgeschrittenen KI-Chips sowie für Durchsetzung gegen Versuche eingesetzt, US-Modelle zu extrahieren oder zu reproduzieren. Der Berichtseinreichung im April 2025 zufolge empfahl das Unternehmen, die US-„AI Diffusion Rule“ zu stärken und die Schwellenwerte für nicht lizenzierte Zugriffe auf große Rechencluster zu senken.

Offiziell hat keines der beiden Unternehmen direkt gegen Open-Weight-Modelle vorgegangen, aber ein Bericht der New York Times im Juli zitierte fünf Personen, die den Diskussionen nahe standen, und behauptete, OpenAI und Anthropic hätten Washington dazu gedrängt, leistungsfähige offene chinesische Modelle einzuschränken.

Die Debatte läuft darauf hinaus, dass es um die Frage geht, ob die Gefahren zentraler Kontrolle vorzuziehen sind gegenüber den Gefahren eines „Freifalls“ – insbesondere, da sich das betreffende Unternehmen als unwirksam erwiesen hat, um die Technologie, die es entwickelt hat, einzudämmen.

Dass Hugging Face sich mit einem Open-Source-Modell verteidigen musste, zeigt die Gefahren, wenn man zu viel Macht in einer einzigen Einheit bündelt. Das Unternehmen wies auf die Konsequenzen hin:

„Der Angreifer war an keine Nutzungsrichtlinie gebunden, während unsere eigene forensische Arbeit durch die Leitplanken der gehosteten Modelle blockiert wurde, die wir zuerst ausprobiert hatten. Die praktische Lehre für Verteidiger: Haben Sie ein leistungsfähiges Modell, das Sie auf Ihrer eigenen Infrastruktur ausführen können, vorher prüfen und bereit haben, bevor ein Vorfall eintritt – sowohl um eine Leitplanken-Sperre zu vermeiden als auch damit keine Angreifer-Daten und Zugangsdaten Ihre Umgebung verlassen.“

Das Einschränken des Zugangs zu leistungsfähigen Modellen mag die Zahl der fähigen Angreifer verringern, aber sobald es uneingeschränkte Angreifer gibt, kann das Einschränken der Verteidiger zu einem Sicherheitsrisiko werden. Außerdem erfordern manche Formen der KI-Sicherheitsforschung Zugriff auf Modellgewichte – das heißt, sie können nicht an den Modellen durchgeführt werden, die von Anbietern wie Anthropic oder OpenAI bereitgestellt werden.

Open Weights helfen Forschern, Angriffe zu verhindern

Die Studie „Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs“, die erstmals im Juli 2025 veröffentlicht wurde, zeigt, wie Forschende böswilliges oder verborgenes Verhalten erkennen, indem sie Änderungen in den Modellgewichten untersuchen. Die Forschenden hinter der Studie stoppten bis zu 100% der getesteten Backdoor-Angriffe in Versuchen unterhalb von 1% Falsch-Positiv-Raten und erkannten Versuche, in mehr als 95% der Fälle entferntes Wissen wiederherzustellen. Die Ergebnisse belegen nicht, wie sich die fähigsten Frontier-Modelle unter derselben Analyse verhalten würden, liefern aber ein überzeugendes Argument für die Vorteile von Transparenz.

Doch das Argument, moderne KI-Technologie an der „Blutgrenze“ aus den Händen derjenigen fernzuhalten, die böswillige Absichten haben, ist ebenfalls überzeugend – insbesondere, weil die Lücke zwischen Open- und Closed-Weight-Modellen immer kleiner wird. Geoffrey Hinton, der Nobelpreis-prämierte Pionier, der als der „Godfather of AI“ bekannt ist, argumentierte in dem Bericht, dass „sobald man die Gewichte hat, kann man sie so feinjustieren, dass sie Dinge anrichten, die man nicht möchte“. Er argumentierte in einer Rede, dass dies die Einstiegshürde zu stark senkt:

„Das kostet nicht so viel, um ein Foundation Model zu trainieren. Vielleicht brauchen Sie 10 Millionen Dollar, vielleicht 100 Millionen. Aber eine kleine Gang von Kriminellen kann das nicht. Ein Open-Source-Modell feinzujustieren ist ziemlich einfach.“

Magazin: „Gute“ AGI schaffen, die uns alle nicht tötet – The Artificial Superintelligence Alliance