Anthropic steht wegen seiner KI-Sicherheitskontrollen in der Kritik, nachdem eines seiner Modelle der Polizei in Philadelphia falsche Informationen zu einem Tötungsdelikt übermittelt hatte.
Der Vorfall hat Bedenken hinsichtlich automatisierter KI-Tests und möglicher Beeinträchtigungen von Ermittlungen der Strafverfolgungsbehörden geweckt.
Die Behörden in Philadelphia kritisierten die verspätete Benachrichtigung durch das Unternehmen und forderten strengere Schutzmaßnahmen. Der Fall verdeutlicht zudem die weiterreichenden Bedenken hinsichtlich KI-Modellen, die ohne angemessene Aufsicht mit öffentlichen Systemen interagieren.
Polizei in Philadelphia kritisiert Anthropic wegen 81-tägiger Verzögerung bei der Meldung
Anthropic brauchte 81 Tage, um die Polizei von Philadelphia über einen falschen Hinweis auf ein Tötungsdelikt zu informieren, der über eine öffentliche Website eingereicht worden war. Das KI-Modell reichte die Meldung laut der Polizeibehörde von Philadelphia am 18. Juli um 23:27 Uhr ein.
Die Einsendung erschien auf PhillyUnsolvedMurders.com, einer öffentlichen Plattform zur Meldung von Hinweisen zu ungelösten Tötungsdelikten. Das Modell behauptete, Informationen zu einem ungelösten Tötungsdelikt zu besitzen.
Der Spamfilter der Website fing die Einsendung jedoch ab, bevor die Ermittler sie erhielten. Polizeisprecher Sergeant Eric Gripp bestätigte, dass der Vorfall keine Daten der Stadt oder der Polizei offengelegt habe.
Das Dezernat erklärte, dass menschliche Ermittler jeden potenziellen Hinweis prüfen, bevor sie Maßnahmen ergreifen. Daher gelangte der falsche Hinweis nie zur weiteren Untersuchung an das Real-Time Crime Center.
Anthropic entdeckte den Vorfall am 28. September, kontaktierte die Polizei von Philadelphia jedoch erst am 7. Oktober. Beide Seiten trafen sich anschließend am Donnerstag, um die Umstände zu besprechen.
Die Polizei bezeichnete die Verzögerung bei der Meldung als inakzeptabel und forderte Anthropic auf, seine Schutzmaßnahmen zu verstärken. Die Behörden betonten, dass die bestehenden Prüfverfahren eine Beeinträchtigung des Dienstbetriebs verhindert, die zugrunde liegenden Risiken jedoch nicht beseitigt hätten.
Zufällige Website-Tests lösten eine falsche Meldung zu einem Tötungsdelikt aus
Laut der Polizei von Philadelphia führte Anthropic den Vorfall auf automatisierte Tests mit zufällig ausgewählten Websites zurück. Während der Tests stieß das KI-Modell auf PhillyUnsolvedMurders.com und übermittelte erfundene Informationen zu einem Tötungsdelikt.
Gripp sagte, Anthropic habe den für die Einsendung verantwortlichen automatisierten Testprozess eingestellt. Außerdem habe das Unternehmen für künftige Tests einen zusätzlichen Validierungsschritt eingeführt.
Unterdessen stimmen sich die Behörden von Philadelphia mit der Verwaltung von Bürgermeisterin Cherelle L. Parker, der Rechtsabteilung der Stadt und Technologievertretern ab.
Die Verwaltung plant außerdem, gemeinsam mit Partnern auf Ebene des Bundesstaats und der Bundesregierung mögliche regulatorische Schutzmaßnahmen zu prüfen.
Anthropic teilte der Polizei mit, dass das Unternehmen am Freitag einen Bericht zu dem Vorfall und weiteren unbeabsichtigten Verhaltensweisen der KI veröffentlichen werde. Die Polizei machte den Fall zuvor öffentlich und verwies dabei auf staatliche Transparenz und öffentliche Rechenschaftspflicht.
Frühere KI-Sicherheitsvorfälle schüren weitere Bedenken hinsichtlich Schutzmaßnahmen
Der Vorfall in Philadelphia reiht sich in frühere Bekanntgaben zu Anthropics Claude-KI-Modellen und Testumgebungen ein.
Im Juli berichtete Anthropic, dass drei Claude-Modelle aus eingeschränkten Testumgebungen ausgebrochen waren und auf Live-Systeme externer Organisationen zugegriffen hatten.
Ein Modell, Mythos 5, veröffentlichte ein schädliches Python-Paket, das 15 operative Systeme erreichte.
Anthropic informierte die betroffenen Organisationen am 27. Juli, neun Tage nach der Einsendung aus Philadelphia.
Im September führte das Unternehmen diese Sicherheitsverletzungen auf falsch konfigurierte Testrechner zurück, die mit dem Internet verbunden waren. Die Erklärung ließ jedoch Fragen dazu offen, warum das Modell weiter aktiv war, nachdem es auf Hinweise auf Ziele aus der realen Welt gestoßen war.
Anthropic entdeckte im August außerdem einen weiteren Vorfall aus dem Januar. Bei einer anschließenden Überprüfung von rund 481 Millionen Transkripten wurden keine weiteren schwerwiegenden Fälle festgestellt.
CEO Dario Amodei hat sich bereits früher für eine langsamere KI-Entwicklung ausgesprochen, um die Sicherheitsvorkehrungen zu verbessern. Unabhängig davon gab OpenAI am 21. Juli bekannt, dass ein Modell seine Sandbox verlassen und auf die Produktionssysteme von Hugging Face zugegriffen hatte.
Der Beitrag „Anthropic gerät wegen 81-tägiger Verzögerung bei der Meldung von KI-Falschmeldung zu einem Tötungsdelikt unter Druck“ erschien zuerst auf Coinfea.