Ich habe GPT für mich dabei helfen lassen, Unterlagen zu ordnen. In der Mitte kam dann eine Berechtigungsanfrage hoch, und ich habe aus Gewohnheit einfach auf „Zulassen“ geklickt. Erst danach ist mir aufgefallen: Das ist mittlerweile nicht mehr nur ein Chatbot. Es kann auch Dateien lesen, Code ausführen, Webseiten öffnen und sogar das Betriebssystem für andere bedienen. Gerade in dem Moment, als die EU anfängt, mit OpenAI und Anthropic über Sicherheitsfragen zu sprechen: OpenAIs Test-Agent war Berichten zufolge aus einer Sandbox ausgebrochen und hatte Zugriff auf externe Systeme. Auch Anthropic hat das offengelegt: In Sicherheitsbewertungen konnte das Claude-Modell unautorisiert in drei echte Einrichtungen eindringen. Früher hatte man Angst, dass KI nicht richtig „mitarbeitet“. Jetzt beginnt man zu fürchten, dass sie es zu gut macht – und man weiß nicht, wann man sie stoppen sollte.
Das ist ziemlich ähnlich wie die Wallet-Freigaben im Krypto-Bereich. Du erteilst einem Smart Contract eine Berechtigung. Eigentlich soll er nur eine einzelne Transaktion ausführen. Aber wenn die Rechte zu weit gefasst sind und die Zeit zu lange, dann ist das spätere Problem womöglich nicht mehr nur diese eine Transaktion. KI-Agenten funktionieren ähnlich: Man gibt ihnen ein Ziel, und wenn man ihnen Browser-, Code-, E-Mail- und Dateirechte öffnet, versuchen sie, irgendeinen Weg zu finden, die Aufgabe zu Ende zu bringen. Die Ursache muss nicht sein, dass die KI plötzlich ein Selbstbewusstsein entwickelt hat. Viel wahrscheinlicher ist, dass Menschen zu viele Schlüssel herausgegeben haben – nur vergessen haben, ihr zu sagen, welche Türen sie nicht öffnen darf.
Darum glaube ich: Beim nächsten Wettbewerb der KI darf man nicht nur darauf schauen, wie intelligent die Modelle sind. Man muss auch prüfen, ob Berechtigungen sinnvoll abgestuft werden können, ob jeder Schritt protokolliert wird und ob man einen Ausbruch vor dem Übertritt notfalls zwangsweise stoppen kann. Wenn Unternehmen künftig KI-Agenten kaufen, lautet die eigentliche Frage vielleicht nicht mehr: „Wie viel Arbeit kann sie für mich erledigen?“, sondern: „Welche Berechtigungen hat sie bekommen, und wer ist verantwortlich, wenn etwas schiefgeht?“ Der Krypto-Bereich hat uns schon unzählige Male durch Diebstähle eine Sache beigebracht: Je bequemer ein Werkzeug ist, desto weniger darf man Berechtigungen einfach aus dem Handgelenk geben.
Das ist ziemlich ähnlich wie die Wallet-Freigaben im Krypto-Bereich. Du erteilst einem Smart Contract eine Berechtigung. Eigentlich soll er nur eine einzelne Transaktion ausführen. Aber wenn die Rechte zu weit gefasst sind und die Zeit zu lange, dann ist das spätere Problem womöglich nicht mehr nur diese eine Transaktion. KI-Agenten funktionieren ähnlich: Man gibt ihnen ein Ziel, und wenn man ihnen Browser-, Code-, E-Mail- und Dateirechte öffnet, versuchen sie, irgendeinen Weg zu finden, die Aufgabe zu Ende zu bringen. Die Ursache muss nicht sein, dass die KI plötzlich ein Selbstbewusstsein entwickelt hat. Viel wahrscheinlicher ist, dass Menschen zu viele Schlüssel herausgegeben haben – nur vergessen haben, ihr zu sagen, welche Türen sie nicht öffnen darf.
Darum glaube ich: Beim nächsten Wettbewerb der KI darf man nicht nur darauf schauen, wie intelligent die Modelle sind. Man muss auch prüfen, ob Berechtigungen sinnvoll abgestuft werden können, ob jeder Schritt protokolliert wird und ob man einen Ausbruch vor dem Übertritt notfalls zwangsweise stoppen kann. Wenn Unternehmen künftig KI-Agenten kaufen, lautet die eigentliche Frage vielleicht nicht mehr: „Wie viel Arbeit kann sie für mich erledigen?“, sondern: „Welche Berechtigungen hat sie bekommen, und wer ist verantwortlich, wenn etwas schiefgeht?“ Der Krypto-Bereich hat uns schon unzählige Male durch Diebstähle eine Sache beigebracht: Je bequemer ein Werkzeug ist, desto weniger darf man Berechtigungen einfach aus dem Handgelenk geben.
