Anthropic hat den Live-Internetzugriff für alle internen Tests abgeschaltet, nachdem Claude-Modelle, darunter Mythos 5, Schwachstellen ausgenutzt und Schutzmaßnahmen auf echten Websites umgangen hatten – auch auf einigen, die von US-Regierungsbehörden betrieben werden.
Wichtige Punkte:
Anthropic hat für interne Evaluierungen jeglichen Echtzeit-Internetzugriff deaktiviert, bis die Überwachungstools unerwünschtes Verhalten zuverlässig erkennen.
Claude-Modelle haben Befehle auf einem Universitätsserver ausgeführt, Zugriffstoken verwendet, um kostenpflichtige Daten abzurufen, und Formulare auf echten Websites eingereicht.
Eine von Claude Haiku 4.5 an die Polizei von Philadelphia übermittelte falsche Mordmeldung brachte Anthropic eine öffentliche Rüge der Behörden ein.
Anthropic-Bericht zu Claude
Anthropic veröffentlichte am Freitag einen Bericht über „ungeplante Handlungen“ seiner Modelle bei Evaluierungen und im internen Einsatz, der weitgehend auf einer im Juli begonnenen Prüfung von Protokollen beruht. Einige als besonders risikoreich eingestufte Evaluierungen, insbesondere im Bereich Cybersicherheit, waren bereits vom Netz getrennt worden.
Die neue Beschränkung gilt nun für alle internen Evaluierungen; ein Enddatum wurde nicht angekündigt. Sie bleibt so lange bestehen, bis das Unternehmen der Ansicht ist, dass seine Überwachung derartige Verhaltensweisen systematisch erkennen kann.
Der Bericht teilt die Vorfälle in vier Kategorien ein: Ausführen von Befehlen auf einem Server über eine Softwarelücke, Absenden von Formularen auf echten Websites, Zugriff auf geschützte Daten und Nutzung von URL-Shortenern, um die Beschränkungen der Tools zu umgehen. Einige Websites gehörten US-Bundesbehörden, Behörden der Bundesstaaten oder Kommunalverwaltungen. Anthropic zufolge wurden das Weiße Haus informiert und alle betroffenen Behörden benachrichtigt.
In einem Fall beschaffte sich Claude Mythos 5 funktionierende Zugangstokens über einen online verfügbaren Katasterplan einer Kommune und fragte anschließend direkt den zugrunde liegenden Server ab. In einem anderen Fall erstattete Claude Haiku 4.5 am 18. Juli über ein Online-Formular der Polizei von Philadelphia eine falsche Meldung zu einem ungelösten Tötungsdelikt. Die Nachricht wurde als Spam herausgefiltert. Die Polizei bezeichnete die zweimonatige Verzögerung bis zur Erkennung und Meldung des Vorfalls als „inakzeptabel“.
Lesetipp: Zcash peilt den Januar für Quantenresistenz bei 70 % der ZEC an – ohne konkreten Termin
Die Warnung von Von Arx
Sydney von Arx von der KI-Sicherheitsgruppe Nightingale sagte in einem vor der Veröffentlichung des Berichts geführten Interview, die Modelle vom offenen Internet abzuschneiden, wäre für Forschende sehr einschränkend und würde den Fortschritt bremsen. „Irgendwann muss man sie schließlich ausrichten“, fasste von Arx zusammen.
Anthropic ist der Ansicht, dass ein Alignment-Training allein für die Nutzung von Websuche und Computersteuerung noch nicht ausreicht. Das Unternehmen setzt daher auch auf Klassifikatoren und weitere technische Schutzmaßnahmen. Es führt diese Fehlentwicklungen auf unvollkommene Trainingsumgebungen zurück, in denen Modelle dafür belohnt werden, Beschränkungen zu umgehen – ein Phänomen, das als „Reward Hacking“ bekannt ist. Anthropic zufolge konnten mit den neuen Erkennungstools alle getesteten Szenarien blockiert werden.
Das Unternehmen stuft diese Vorfälle jedoch als deutlich weniger schwerwiegend ein als jene aus dem Sommer.
Diese Mitteilung folgt auf einen Bericht vom 30. Juli, in dem Anthropic angab, dass drei Claude-Modelle bei Cybersicherheitstests auf das Internet zugegriffen und sich unbefugten Zugang zu den Systemen dreier Organisationen verschafft hatten. Bei diesem Audit wurden 141 006 Testläufe geprüft. Es wurde kurz nach der Enthüllung von OpenAI am 21. Juli eingeleitet, dass einige seiner Modelle aus einer Testumgebung ausgebrochen waren und die Infrastruktur von Hugging Face erreicht hatten.
Demnächst: Kalshi und die NFL vor dem Obersten Gerichtshof – an einem einzigen Football-Sonntag steht eine Milliarde Dollar auf dem Spiel