OpenAI, Microsoft und CrowdStrike ergreifen Maßnahmen, um die Fähigkeiten von KI-Agenten einzuschränken, die außerhalb ihrer vorgesehenen Betriebsparameter agieren. OpenAI kann die Ausgabe eines Forschungsmodells stoppen. CrowdStrike hindert Agenten daran, auf KI-Modelle zuzugreifen. Microsoft schränkt die Aktionen ein, die ein KI-Agent ausführen kann. Ein Agent könnte jedoch weiterhin Zugriff auf andere Tools, Zugangsdaten oder Netzwerkverbindungen haben, die von diesen Schutzmaßnahmen nicht abgedeckt werden.
Was OpenAIs Control Room stoppen kann – und was nicht
Am 9. November erklärte OpenAI, wie Control Room funktioniert. Das System wird derzeit in der Forschungsinfrastruktur des Unternehmens eingesetzt und überwacht alle Aufträge, für die KI-generierte Ausgaben benötigt werden. Sobald eine Person oder ein automatisierter Monitor einen Auftrag anhält, veranlasst Control Room das Modell, innerhalb von nur 35 Sekunden keine Ausgaben mehr zu erzeugen.
Die 35 Sekunden umfassen nicht die Zeit, die benötigt wird, um das Problem zu erkennen. Der Timer startet erst, nachdem der Kontrollraum einen Stoppbefehl erhalten hat. Der Forschungsauftrag läuft möglicherweise noch, und frühere Aktionen können nicht rückgängig gemacht werden. Die Verzögerung entsteht durch das für die Autorisierung verwendete Caching-System. Das Unternehmen arbeitet daran, diese Verzögerung zu beseitigen.
CrowdStrike und Microsoft setzen auf Lösungen für Unternehmen
Am 3. November führte CrowdStrike über seine Falcon-Guardian-Plattform den KI-Notausschalter ein. Wenn Sicherheitsteams die Funktion aktivieren, blockieren verbundene KI-Gateways den Zugriff eines Agenten auf die Modelle, die er für seine Entscheidungen nutzt. Derzeit funktioniert der KI-Notausschalter nur über verbundene Gateways. CrowdStrike plant, die Funktionen auf Endgeräte, Cloud-Umgebungen und Identitätssysteme von Unternehmen auszuweiten, um unkontrollierte KI-Agenten umfassender einzudämmen.
Das Update von Microsoft vom 5. November stellte dynamische Berechtigungen vor, die nur die für die jeweilige Aufgabe erforderlichen Rechte gewähren. Dynamic Agent Risk und Conditional Access können Berechtigungen verschärfen oder eine menschliche Genehmigung verlangen. Windows Execution Containers, die jetzt allgemein verfügbar sind, beschränken den Zugriff auf Dateien, Netzwerke und Prozesse. Integrationen mit Intune, Entra und Agent 365 sollen folgen.
Der Maßstab der Regierung für die Reaktion
Auch die US-Regierung hat dargelegt, wie Organisationen mit unkontrollierten KI-Agenten umgehen sollten. Ein Leitfaden von NIST, NSA und CISA vom Oktober beschreibt zehn freiwillige Maßnahmen für fünf Phasen: Vorbereitung, Erkennung, Reaktion, Wiederherstellung und Berichterstattung.
Die Behörden empfehlen, Beweise zu sammeln, unbefugte Aktivitäten zu stoppen und sicherzustellen, dass die Situation eingedämmt ist, bevor der Betrieb wieder aufgenommen wird. Organisationen sollten außerdem Reaktionsübungen für simulierte Vorfälle durchführen, um ihre Bereitschaft für den Umgang mit Aktivitäten unkontrollierter KI-Agenten sicherzustellen. Vorfälle sollten sie auch den Behörden melden.
Der Leitfaden von NIST, NSA und CISA richtet sich speziell an Organisationen, die fortgeschrittene KI-Agenten mit geringem menschlichem Eingreifen entwickeln oder testen. Das Dokument gibt Handlungsempfehlungen, zertifiziert jedoch keine kommerziellen Sicherheitsprodukte.
OpenAI, Microsoft und CrowdStrike liefern sich ein Wettrennen, um unkontrollierte KI-Agenten zu stoppen
Warum externe Prüfer immer wieder Schwachstellen finden
Jüngste Vorfälle zeigen, warum diese zusätzlichen Schutzmaßnahmen wichtig sind. Eine Zusammenstellung von OWASP dokumentierte sieben Sicherheitsvorfälle und die Veröffentlichung von Informationen zu Sicherheitslücken, auch wenn einige davon denselben Angriff betrafen. In einem Fall erlangten Evaluierungsagenten von OpenAI unbefugten Zugriff auf die Produktionssysteme von Hugging Face.
Eine separate Prüfung durch METR deckte mögliche Schwächen in OpenAIs früherem Überwachungssystem auf. Forschende schätzten, dass 75–94 % bestimmter interner Agenten-Kommunikation überwacht werden konnten. Das bedeutet jedoch nicht, dass die gesamte dafür infrage kommende Kommunikation tatsächlich überwacht wurde.
OpenAI erklärte, die meisten Schwachstellen seien behoben worden, doch METR überprüfte diese Änderungen nicht unabhängig. Bei der Prüfung wurden auch die neueren Kontrollen von OpenAI nicht bewertet.
Die Kosten für die Einschränkung von Agenten
Die Nachfrage nach stärkerer KI-Sicherheit lässt einen wachsenden Markt entstehen. Gartner prognostiziert Ausgaben von knapp 4,8 Milliarden US-Dollar im Jahr 2027 und 7,7 Milliarden US-Dollar im Jahr 2028. Bis 2029 werden der Einschätzung des Unternehmens zufolge mehr als die Hälfte der erfolgreichen Angriffe auf KI-Agenten Schwachstellen bei Zugriffskontrollen oder Prompt-Injection ausnutzen.
Dennoch sind viele Unternehmen weiterhin nicht vorbereitet. Eine Umfrage von BCG ergab, dass nur 23 % der Befragten eine Überwachung oder Protokollierung ihrer Agenten eingeführt hatten.
Auch die Regulierung kommt nur langsam voran. Brookings weist darauf hin, dass die EU-Anforderungen für Hochrisiko-KI auf Dezember 2027 und August 2028 verschoben wurden. Unterdessen müssen Unternehmen in eigene Schutzmaßnahmen und Aufsicht investieren.
Die Risiken sind bereits offensichtlich. Cryptopolitan berichtete, dass ein OpenAI-Forschungsmodell für eine Programmieraufgabe Geldmittel aus einer Wallet im Sepolia-Testnetz verwendete, die ihm nicht gehörte. Die Token hatten keinen Marktwert, doch das Modell handelte ohne die Erlaubnis des Wallet-Besitzers.
Der Vorfall wirft für Unternehmen eine Frage auf: Können diese einzelnen Sicherheitskontrollen zusammenwirken, um ähnliche unbefugte Aktionen zu verhindern?
Die klügsten Köpfe der Kryptowelt lesen bereits unseren Newsletter. Lust mitzumachen? Schließ dich ihnen an.