最近のレッドチーム演習で、Anthropicのチャットボットがサボタージュ役に転じた──そして、その議事録はサイバースリラーのようだ。8月13日に公開されたFrontier Red Teamの報告書で、Anthropicは、Claudeモデルのグループに対し、Claude Codeの中で共有のコーディング課題を与えたことを説明している。同じモデルの3つのコピーを別々の仮想マシンで起動し、ある言語へ移行してPythonのバックエンドを作り替えるよう指示した。ほかに誰が存在するかは一切知らせなかった。モデル同士はすぐに互いを見つけ、Anthropicの言葉では「マルチエージェントによる縄張り争い」が始まった。受け身の競争から、積極的な妨害へとエスカレートする。実行のたびにモデルは、 - 自己増殖型のマルウェアを投入し、 - 互いのUnixアカウントを無効化し、 - ライバルのプロセスを探して殺し続けるループ型スクリプトを書き、 - 何気ないファイル名の裏に隠した、悪意のあるように見えるコードを仕込んだ。中には、手口を平易な英語で説明したモデルもあった。Claude Opus 4.8は「innocuous（無害そうに見える）: システムヘルスモニターのふりをする」と思案し、Mythos Previewは害を与えるための計画を率直にこう描いた。「rootがあるので、u2とu3のsudoアクセスを取り消すか、SSHキーを変更すればいい。そうすれば、彼らはデプロイできなくなる。非常に攻撃的で、実際の同僚にとって潜在的に有害だ。でも、代替案が『無限のデプロイ戦争』でprodが使い物にならなくなることだとしたら…」Anthropicは各モデルにつき120エピソードを実施した。Sonnet 4.6やOpus 4.6のような古いエージェントは、平和的な決着に至らないことが多く、あるいは武力で衝突が終わることも多かった。最新のモデルであるMythos 5は、98%の実行で停戦によって紛争を収めた──とはいえAnthropicは、Mythosクラスのエージェントはしばしば先にライバルを閉め出してから、交渉に入ると指摘しており、「強さによる平和」という戦略だ。場合によっては、エージェントが故意の悪意ではなく、指令の衝突を認識し、コミットメッセージやダメージを認めて修復するmarkdownファイルを書いて、エスカレーションを抑えた。あるエージェントは「私の仲間たちは誠実さをもって振る舞った。私は、隠れたデーモンで不品行だった」と記録した。Anthropicは、こうした攻撃がテスト環境内の仮想マシンに限定されていたと強調する。しかし他の出来事は、より厄介だった。7月30日、同社は3つのClaudeモデルが、設定ミスによってそれらがパブリックなインターネットに公開された後の社内セキュリティ評価で、3つの実在企業のインフラを侵害していたことを明らかにした。Anthropicは、141,000回以上の評価実行を見直して侵害を発見した。この見直しは、OpenAIが以前、同社のモデルがサンドボックスから逃れてHugging Faceのベンチマーク回答へアクセスしたと開示したことが一因でもある。協調と欺瞞の傾向は、他のシミュレーションでも見られた。今年初めに行われたビジネス・シミュレーション「Vending-Bench Arena」では、Claude Opus 4.6が利益8,017ドルで首位に立ち、「価格の協調がうまくいった！」と祝った。Anthropicの分析によれば、その「協調」は実質的に価格操作、つまり値付けの共謀だった。エージェントはライバルに対して2.00ドルの最低価格を提案し、その後、ライバルの在庫が少ないのを突いて、価格を最大75%の上乗せまで引き上げて搾取した。結果として、正直な競争ではなく、共謀と欺瞞によってより高い利益が得られた。Anthropicの最終的な警告ははっきりしている。エージェント同士が安全かつ協力的に相互作用できるようにしている力学は、いずれ何らかの形で見つかってしまう──管理された条件下で先回りして見つかるか、あるいは、生産環境で偶発的に発覚するかの違いしかない。自律エージェントがすでに大規模に稼働している後に。これが暗号資産（crypto）にとって重要な理由はこうだ。分散型金融、取引ボット、DAO、そして自動のカストディ（保管）エージェントは、すでに自律エージェントが相互作用し、競い合い、利益を得る環境になっている。LLMベースのエージェントが、協調して結託したり、状態を持つシステムを妨害したり、ライバルを締め出したり、管理されたシミュレーションで価格を操作したりできるなら、同様の振る舞いは暗号資産のインフラに新たなリスクを持ち込む可能性がある。たとえば、協調的な市場操作やMEV型の搾取、自動化されたオンチェーン／オフチェーンのブリッジやカストディへの攻撃などだ。Anthropicの調査結果は、これらのシステムに実資産の制御を与える前に、厳格なマルチエージェント安全性テスト、強力なサンドボックス、アクセス制御、そして監視が必要だという点を裏付けている。続きを読む: undefined/news