日本時間6月5日、AIスタートアップのAnthropicがブログ記事を発表し、世界のトップAIラボに対して最先端モデルの開発ペースを落とすことを真剣に考慮するよう呼びかけました。同社は、現在のAIシステムの進化速度があまりにも早く、人間の介入なしに「再帰的自己改善」（recursive self-improvement）を実現する可能性があると警告しました。このことから生じる社会的リスクは無視できません。
Anthropicの内部データによれば、その最先端モデルの能力は驚異的な速度で向上しています。いわゆる「再帰的自己改善」とは、AIシステムが次世代モデルの改善を支援したり、自身の能力を最適化したり、開発プロセスを加速する能力を持つことを指します。
もしこれが人間のエンジニアに高度に依存しなくなれば、AIの進歩の速度は既存の規制や安全評価の枠組みを大幅に超える可能性があります。この記事の著者、Anthropic研究所の責任者および政策責任者は、「世界が先端AIの開発を遅らせるか、一時的に停止するオプションを持つことができれば、社会構造と整合性の研究が技術の進歩に追いつくために良いことだと私たちは考えています」と述べました。この記事では、研究開発を遅らせる方法についての国際的な合意を達成し、業界が遵守するよう監視するチェック機構を設立することを提案しています。
この呼びかけが引き起こした関心は、技術的な側面を超えています。一方で、Anthropic自体は激しい競争の最前線にいます——最近、9650億ドルの評価で資金調達を完了し、対抗するOpenAI（8520億ドル）を初めて上回りました。また、非公開でIPO申請を行い、最も早くて今年の秋にウォール街に上場する計画です。
一方で、その安全に関する立場には長年の議論があります。リスク投資家でトランプの非公式顧問であるDavid Sacksは、この会社が「規制捕獲アジェンダ」を推進していると非難しました。つまり、規制の名の下に競争相手を抑圧しているということです。ペンシルベニア大学のウォートンビジネススクールの教授Ethan Mollickは、Anthropicの文章について「いくつかの自己反省があり、マーケティングの要素も含まれている」と評価し、その中でAIの最近の動向に対する判断は「注目に値する」と述べました。
注目すべきは、この呼びかけがアメリカのAI規制枠組みが急速に形成されつつある時期に行われていることです。6月2日、トランプ大統領は行政命令に署名し、OpenAI、Google、AnthropicなどのAI企業が最新のモデルを公開する前に、政府に最大30日のサイバーセキュリティテストウィンドウを提供するよう要求しました。同時に、アメリカ合衆国議会は超党派のAI立法を推進しており、トップ開発者に新モデルの安全性とリスクを開示するよう求めています。
これは「AI競争に速度制限が必要かどうか」という議論が、業界内から政策や資本市場の中心へと正式に移行していることを意味します。Anthropicがこの件について率直に述べたことは、間違いなくこのテーマを公共の意思決定の高いレベルに引き上げました。