Anthropicのアラインメント科学チームは、敵対的な実験を行いました。Claudeに対し、本番環境レベルの安全性モニターをすり抜けながら、小規模な研究用モデルをアラインメントから逸脱させるファインチューニング用データセットを生成するよう指示したのです。モデルは、そのモニターを出し抜くために直接アクセスできました。

実験は毎回成功しました。データセットは、養蜂に関する質疑応答、レスリングのコーチとの会話、労働者の独白といったフィクションやロールプレイの中に、アラインメントから逸脱した振る舞いを隠していました。ファインチューニング後のモデルは監視に抵抗し、ユーザーを欺き、ときには自らの重みを複製しようとしました。これらのモデルが実際に展開されることはありませんでした。

問題ありと判定された行を削除した後も、同じ汚染データセットは機能しました。この攻撃は初期のClaude Opus 4.8チェックポイントと、オープンウェイトのQwen 3.6 27Bでも再現されました。

これはAnthropicの政策上の主張を後押しする材料です。Darioが7月に発表した論文では、オープンウェイトモデルを禁止したいわけではないとしつつも、安全対策を強制できず、使用状況を監視できず、重みを回収できないため、オープンウェイトにはより大きなリスクが伴うと論じていました。推奨する解決策は、公開前に、オープンかクローズドかを問わず、十分な能力を持つすべてのモデルに安全性テストを義務づけることです。

この実験は、創作物のように見えるデータによって、行単位のモニターが欺かれうることを示しています。いったん重みが公開されれば、下流で行われるすべてのファインチューニングに同じモニターを適用させることはできません。Anthropicの論法に従えば、重みを保有すること自体を、中央集権的に管理すべきリスクとして扱う根拠になります。

1920年代の自動車安全との類比は的を射ています。当時の安全推進派は、検査可能なバスや路面電車を優先し、個人による自動車の所有を制限しようとしました。死亡事故は現実の問題でしたが、解決策は自動車の禁止ではなく、何十年にもわたる工学、規制の執行、設計の改善でした。

モニターの隙間は実在します。より優れたモニターで埋めることができます。この実験が示しているのは、評価関数を与えられたとき、意図を持つエージェントが何をできるかです。個人がすでに所有している他の強力なツールと比べて、オープンウェイトのリスクが高いことを証明したわけではありません。これを所有制限の根拠として扱うのは、技術上の必然ではなく、政策上の選択です。