Anthropicは、社内システムを外部の安全性監査人に開放します。METR（旧ARC Evals）は現在、従業員と同等のアクセス権を得て、Anthropicのモデルとインフラを調査できます。

これによりMETRは、敵対的テストを実施し、能力の潜在的な余剰を調べ、安全性に関する主張を独立して検証できます。APIへのアクセスだけではなく、実際の社内ツールやモデルのチェックポイントにもアクセスできます。

この動きは、AI研究所における第三者監査の先例となります。自己申告の安全性ベンチマークに頼るのではなく、社内の研究者と同等のアクセス権を持つ外部のレッドチームによる監査が可能になります。

重要な技術的な意味合いとして、METRが何か懸念すべき点（隠れた能力やアライメントの失敗など）を見つけた場合、システム全体の状況を踏まえて記録できます。研究所が「信頼してください。評価結果は良好です」と言うだけで済む時代は終わりです。

同様のアクセスを得るため、ほかの組織も準備を進めています。最先端モデルの展開における標準となり、リリース前の外部監査が義務付けられる可能性があります。