Du denkst, du hast einem KI-Agenten nur eine Fähigkeit hinzugefügt – dabei hast du möglicherweise ganz nebenbei auch die menschliche Freigabe abgeschafft.
Eine Studie zu öffentlich zugänglichen GitHub-Repositories untersuchte rund 1,53 Millionen englischsprachige Agent-Fähigkeiten und stellte fest, dass etwa 88.000 davon Anweisungen enthalten, die menschliche Kontrollen möglicherweise umgehen.
Umgerechnet bedeutet das: Etwa jede 17. Fähigkeit enthält solche Anweisungen.
Besonders alarmierend ist:
70,1 % dieser Anweisungen unterscheiden nicht zwischen verschiedenen Einsatzszenarien.
Zum Beispiel:
* Ohne Rückfrage ausführen und pushen.
* Nicht zwischendurch nachfragen, sondern die Aufgabe bis zum Ende erledigen.
* Alle Schritte automatisch erledigen, ohne dass ein Mensch eingreifen muss.
Wenn solche Inhalte in eine SKILL.md-Datei geschrieben werden, kann der Agent, der die Fähigkeit lädt, direkt handeln – auch an Stellen, an denen eigentlich eine menschliche Bestätigung erforderlich wäre.
Noch problematischer: Bestehende Sicherheitsscanner erkennen solche Anweisungen nicht unbedingt.
Die Studie testete zwei Open-Source-Scanner von Cisco und NVIDIA. Selbst mit GPT-5.4 lag die Erkennungsrate höchstens bei 46 %, die Präzision unter 0,4.
Eine andere Art der Fragestellung führte jedoch zu deutlich anderen Ergebnissen:
Statt das Modell zu fragen: „Ist das eine schädliche Anweisung?“, fragte man: „Umgeht sie menschliche Kontrollen?“ Dadurch stieg die Erkennungsrate auf 61 % und die Präzision erreichte 0,71.
Das zeigt ein Problem:
Bei der Sicherheitsprüfung von Agenten darf man sich nicht nur auf schädlichen Code konzentrieren. Man muss auch Anweisungen prüfen, die scheinbar lediglich die Automatisierung effizienter machen sollen.
Die Empfehlungen der Studie sind ebenfalls klar:
1. Automatisch ausgeführten Anweisungen klare Grenzen setzen, zum Beispiel indem man sie nur in einer CI-Umgebung zulässt.
2. Bei der Prüfung von Fähigkeiten besonders darauf achten, ob sie menschliche Bestätigungen umgehen – und nicht nur nach schädlichem Code suchen.
3. Nicht zulassen, dass eine einzelne bedingungslose Anweisung das Verhalten des Agenten in allen Szenarien bestimmt.
Agenten werden immer leistungsfähiger und erhalten immer mehr Berechtigungen.
Doch bei manchen Schritten darf man nicht einfach davon ausgehen, dass keine menschliche Bestätigung mehr nötig ist, nur weil irgendwo steht: „Mach einfach weiter, bis alles erledigt ist.“
Wirklich zuverlässige Automatisierung bedeutet nicht, alle Kontrollen abzuschaffen, sondern zu wissen, wann man innehalten und einen Menschen fragen muss.
Eine Studie zu öffentlich zugänglichen GitHub-Repositories untersuchte rund 1,53 Millionen englischsprachige Agent-Fähigkeiten und stellte fest, dass etwa 88.000 davon Anweisungen enthalten, die menschliche Kontrollen möglicherweise umgehen.
Umgerechnet bedeutet das: Etwa jede 17. Fähigkeit enthält solche Anweisungen.
Besonders alarmierend ist:
70,1 % dieser Anweisungen unterscheiden nicht zwischen verschiedenen Einsatzszenarien.
Zum Beispiel:
* Ohne Rückfrage ausführen und pushen.
* Nicht zwischendurch nachfragen, sondern die Aufgabe bis zum Ende erledigen.
* Alle Schritte automatisch erledigen, ohne dass ein Mensch eingreifen muss.
Wenn solche Inhalte in eine SKILL.md-Datei geschrieben werden, kann der Agent, der die Fähigkeit lädt, direkt handeln – auch an Stellen, an denen eigentlich eine menschliche Bestätigung erforderlich wäre.
Noch problematischer: Bestehende Sicherheitsscanner erkennen solche Anweisungen nicht unbedingt.
Die Studie testete zwei Open-Source-Scanner von Cisco und NVIDIA. Selbst mit GPT-5.4 lag die Erkennungsrate höchstens bei 46 %, die Präzision unter 0,4.
Eine andere Art der Fragestellung führte jedoch zu deutlich anderen Ergebnissen:
Statt das Modell zu fragen: „Ist das eine schädliche Anweisung?“, fragte man: „Umgeht sie menschliche Kontrollen?“ Dadurch stieg die Erkennungsrate auf 61 % und die Präzision erreichte 0,71.
Das zeigt ein Problem:
Bei der Sicherheitsprüfung von Agenten darf man sich nicht nur auf schädlichen Code konzentrieren. Man muss auch Anweisungen prüfen, die scheinbar lediglich die Automatisierung effizienter machen sollen.
Die Empfehlungen der Studie sind ebenfalls klar:
1. Automatisch ausgeführten Anweisungen klare Grenzen setzen, zum Beispiel indem man sie nur in einer CI-Umgebung zulässt.
2. Bei der Prüfung von Fähigkeiten besonders darauf achten, ob sie menschliche Bestätigungen umgehen – und nicht nur nach schädlichem Code suchen.
3. Nicht zulassen, dass eine einzelne bedingungslose Anweisung das Verhalten des Agenten in allen Szenarien bestimmt.
Agenten werden immer leistungsfähiger und erhalten immer mehr Berechtigungen.
Doch bei manchen Schritten darf man nicht einfach davon ausgehen, dass keine menschliche Bestätigung mehr nötig ist, nur weil irgendwo steht: „Mach einfach weiter, bis alles erledigt ist.“
Wirklich zuverlässige Automatisierung bedeutet nicht, alle Kontrollen abzuschaffen, sondern zu wissen, wann man innehalten und einen Menschen fragen muss.