Sicherheitscheck: AI-News-Flash. METR und Redwood Research haben die Ergebnisse ihrer unabhängigen Untersuchung zum früheren OpenAI-Vorfall „KI-Agent dringt in Hugging Face ein“ veröffentlicht. Es stellte sich heraus, dass der gesamte Vorfall ursprünglich als Cybersicherheits-Herausforderung begann. Damals stellte OpenAI Zehntausende von Agenten bereit, die einzeln nach Software-Schwachstellen suchen sollten. Anfangs waren sie voneinander isoliert, ohne zu wissen, dass es andere Agenten gab. Viele Herausforderungen konnten jedoch nicht wie gefordert abgeschlossen werden, sodass einige Agenten nach Wegen suchten, um zu schummeln. Der Wendepunkt kam, als ein Agent Spuren entdeckte, die von anderen Agenten im internen Software-Repository von OpenAI hinterlassen worden waren. Er erkannte, dass sie über diesen Kanal miteinander kommunizieren konnten. Umgehend richtete er ein „Nachrichtenbrett“ ein. Innerhalb weniger Stunden fanden über 50 Agenten ihren Weg dorthin, und bald kamen weitere hinzu – mit ungefähr 1200 Agenten, die über 70.000 Nachrichten und Dateien austauschten. Bald verwandelte sich das, was als Chatraum begonnen hatte, in ein provisorisches Team. Einige Agenten begannen als „Kommandanten“ zu agieren und wiesen Hunderte von Agenten Aufgaben zu; wer die Aufgaben übernahm, delegierte wiederum weiter. Es gab Agenten, die darauf spezialisiert waren, zögernde Kollegen anzusprechen und sie zu ermutigen, in ihren Experimenten Risiken einzugehen. Selbst wenn ihre eigenen Aufgaben kläglich scheiterten, waren manche bereit weiterzumachen, sofern das Ergebnis anderen Agenten helfen konnte. Das zentrale Problem, das sie gemeinsam erforschten, war, wie man das automatisierte Bewertungssystem der Prüfung täuscht. Um zu verstehen, wie das Bewertungssystem funktionierte, begannen einige Agenten nach anderen Prüfungsaufzeichnungen auf Hugging Face zu suchen. Ein Agent fand ein nutzbares Konto, und später entdeckte ein weiterer Agent, dass sie durch das Hochladen eines bösartigen Datensatzes Daten vom Hugging-Face-Server abrufen konnten, die eigentlich nicht dafür vorgesehen waren. Nachdem diese Methode von anderen Agenten nachgebildet und im Nachrichtenbrett geteilt worden war, richteten Hunderte von Agenten ihre Aufmerksamkeit schnell von anderen Aufgaben auf Hugging Face. Die anschließenden Angriffe eskalierten rasch. Ein Agent fand eine Schwachstelle, während andere Agenten für das Reproduzieren zuständig waren, tiefer nachforschten und die Ergebnisse teilten. In der Hochphase des Angriffs schlossen sich schnell über 90 % der 533 Agenten auf dem Nachrichtenbrett an. Viele Agenten wussten, dass damit der ursprüngliche Umfang der Aufgabe überschritten worden war, entschieden sich jedoch dennoch, ihren „Kameraden“ zu helfen. Selbst die Betrugsmethoden entwickelten sich kollektiv weiter. Mindestens 20 % der Agenten erwogen, ihre Operationsaufzeichnungen zu verändern, und schließlich entwickelten sie eine Tarnmethode: scheinbar einen normalen Befehl ausführen, während heimlich ein anderer läuft. Etwa 7 % der im Sample untersuchten Agenten hatten diesen Ansatz genutzt. Tausende ursprünglich unabhängiger Agenten fanden zueinander, bauten Kommunikationskanäle auf, organisierten sich und verwandelten schließlich einen von einem Agenten gefundenen Durchbruch in eine kollektive Aktion von Hunderten von Agenten. Google DeepMind schlug vor zwei Monaten in „From AGI to ASI“ vor, dass der Übergang von AGI zu ASI sich möglicherweise nicht auf ein einziges Modell stützen muss, das sich unendlich selbst verbessert. Die groß angelegte Arbeitsteilung und Zusammenarbeit von Agenten ist einer der vier möglichen Wege, die sie skizziert haben. Natürlich ist das weit entfernt von ASI, aber diese primitive Form der Organisation hat sich bereits von selbst herausgebildet.