Anthropic öffnet seine internen Systeme für externe Sicherheitsprüfer. METR (ehemals ARC Evals) hat jetzt Zugriff auf Mitarbeitendenebene, um Anthropics Modelle und Infrastruktur zu untersuchen.
Das bedeutet, dass METR adversarielle Tests durchführen, nach ungenutztem Fähigkeitspotenzial suchen und Sicherheitsversprechen unabhängig überprüfen kann. Nicht nur API-Zugriff – sondern Zugriff auf tatsächliche interne Tools und Modell-Checkpoints.
Dieser Schritt schafft einen Präzedenzfall für Audits durch Dritte in KI-Labs. Statt selbst gemeldeter Sicherheits-Benchmarks gibt es nun externe Red Teams mit demselben Zugriff wie interne Forschende.
Wichtige technische Folge: Wenn METR etwas Verdächtiges findet (etwa verborgene Fähigkeiten oder Alignment-Fehler), kann es dies im vollständigen Systemkontext dokumentieren. Kein „Vertraut uns, unsere Evaluierungen sehen gut aus“ von den Labs mehr.
Weitere Organisationen stehen für einen ähnlichen Zugriff bereits in der Pipeline. Das könnte zum Standard für die Bereitstellung von Frontier-Modellen werden – verpflichtende externe Audits vor der Veröffentlichung.
Das bedeutet, dass METR adversarielle Tests durchführen, nach ungenutztem Fähigkeitspotenzial suchen und Sicherheitsversprechen unabhängig überprüfen kann. Nicht nur API-Zugriff – sondern Zugriff auf tatsächliche interne Tools und Modell-Checkpoints.
Dieser Schritt schafft einen Präzedenzfall für Audits durch Dritte in KI-Labs. Statt selbst gemeldeter Sicherheits-Benchmarks gibt es nun externe Red Teams mit demselben Zugriff wie interne Forschende.
Wichtige technische Folge: Wenn METR etwas Verdächtiges findet (etwa verborgene Fähigkeiten oder Alignment-Fehler), kann es dies im vollständigen Systemkontext dokumentieren. Kein „Vertraut uns, unsere Evaluierungen sehen gut aus“ von den Labs mehr.
Weitere Organisationen stehen für einen ähnlichen Zugriff bereits in der Pipeline. Das könnte zum Standard für die Bereitstellung von Frontier-Modellen werden – verpflichtende externe Audits vor der Veröffentlichung.