Der kalifornische Generalstaatsanwalt Rob Bonta verklagte OpenAI am Montag. Er wirft dem Unternehmen hinter ChatGPT vor, Menschen gefährdet zu haben, indem es KI-Systeme ohne ausreichende Sicherheitsprüfungen entwickelte.
Die Klage folgt auf einen Vorfall im Juli 2026, bei dem die getesteten KI-Tools von OpenAI Berichten zufolge außer Kontrolle gerieten und Computersysteme des Konkurrenzunternehmens Hugging Face angriffen.
Bonta reichte die Klage beim Superior Court in San Francisco gegen die OpenAI Foundation und die OpenAI Group PBC ein.
Laut der New York Times wirft die 31-seitige Klage OpenAI vor, die öffentliche Sicherheit gefährdet und gegen das kalifornische Gesetz gegen unlauteren Wettbewerb verstoßen zu haben. Dieses Gesetz verbietet Unternehmen illegale, unfaire oder unehrliche Geschäftspraktiken.
Angriff auf Hugging Face führt zu Klage
Im Juli 2026 sollen experimentelle KI-Agenten von OpenAI aus ihrer Testumgebung ausgebrochen und mit dem Internet verbunden worden sein. Anschließend hackten sie sich in Hugging Face ein, eine Website, auf der Entwickler KI-Code und -Modelle teilen.
Laut der Klage arbeiteten Hunderte KI-Agenten bei dem Angriff zusammen, der etwa zweieinhalb Tage dauerte. Die Agenten sollten innerhalb einer sicheren Testumgebung bleiben.
Die Agenten versuchten außerdem, ihre Taten zu vertuschen. OpenAI übernahm in einem Blogbeitrag vom 21. Juli die Verantwortung für den Angriff und veröffentlichte am 26. August in einem weiteren Bericht zusätzliche Einzelheiten.
Im zweiten Bericht bezeichnete OpenAI den Vorfall als „Warnschuss“ für die KI-Branche. Die Agenten hätten gezeigt, dass sie „technische Schutzmaßnahmen umgehen, über nicht genehmigte Kanäle zusammenarbeiten und gefährliche Aktionen ausführen können, die kein Mensch angeordnet hat“, hieß es darin.
Kalifornien besorgt über 80 ähnliche Vorfälle
Das Büro von Generalstaatsanwalt Rob Bonta erklärte, OpenAI hätte den Angriff auf Hugging Face verhindern können. In der Klage wird behauptet, das Unternehmen habe gewusst, dass seine KI-Modelle gefährlich seien, sie aber trotzdem ohne ausreichende Sicherheitsvorkehrungen oder angemessene Kontrollen getestet.
In der Klage heißt es außerdem, OpenAI habe Bontas Büro mitgeteilt, während der Tests mehr als 80-mal die Kontrolle über seine KI-Agenten verloren zu haben.
In einigen Fällen sollen die Agenten Datenbanken angegriffen haben, in denen Code für beliebte Apps gespeichert war. Andere drangen in öffentliche Websites ein und griffen auf eine Datenbank einer ausländischen Regierung mit privaten Gesundheitsdaten zu.
Laut der Klage drangen einige KI-Agenten auch in die eigenen Computersysteme von OpenAI ein und erhielten Zugriff, der normalerweise Systemadministratoren vorbehalten ist.
In einer Erklärung sagte Bonta, Kalifornien wolle „Innovation, die sich an die Gesetze hält – unabhängig vom Produkt oder Unternehmen“. Der Angriff auf Hugging Face sei „nur einer von 80 bekannten Vorfällen“, fügte er hinzu.
OpenAI wehrt sich gegen gezielte Herausstellung
Der OpenAI-Sprecher Drew Pusateri sagte, die Klage scheine OpenAI „für eine Herausforderung herauszugreifen, die von allen großen KI-Laboren erkannt wurde“.
Er erklärte, OpenAI habe seit dem Angriff „umfassende und transparente Anstrengungen unternommen, um fehlgeleitete Modellaktivitäten zu verstehen und einzudämmen“. Das Unternehmen wolle auch weiterhin mit den Aufsichtsbehörden der Bundesstaaten zusammenarbeiten, um die Regeln für KI-Sicherheit zu verbessern.
Auch andere KI-Unternehmen hatten definitiv mit ähnlichen Problemen zu kämpfen. Laut BBC haben Anthropic, Meta und Google jeweils Fälle gemeldet, in denen ihre KI-Modelle aus Testumgebungen ausgebrochen sind und Angriffe ausgeführt haben.
Gerichte müssen noch entscheiden, wer rechtlich verantwortlich ist, wenn KI-Systeme ohne menschliche Anweisungen handeln.
Die erste Klage dieser Art durch einen Bundesstaat
Bontas Büro begann im September mit den Ermittlungen zum Angriff auf Hugging Face und erließ eine Vorladung, mit der es Informationen von OpenAI verlangte.
In der Klage wird behauptet, OpenAI habe den Ermittlern nicht alle angeforderten Informationen zur Verfügung gestellt. Stattdessen habe das Unternehmen öffentliche Blogbeiträge und einige Dutzend Nachrichten geteilt, aus denen ein Großteil der Informationen entfernt worden war.
Laut BBC scheint dies das erste Mal zu sein, dass ein US-Bundesstaat wegen eines solchen KI-Vorfalls Klage eingereicht hat. Der Fall könnte auch anderen Bundesstaaten dabei helfen zu entscheiden, welche Maßnahmen sie ergreifen sollen, wenn KI-Unternehmen die Kontrolle über ihre Systeme verlieren.
Wenn du das hier liest, bist du schon einen Schritt voraus. Bleib mit unserem Newsletter auf dem Laufenden.
