AI滅絶論が加速：Anthropicが「10%超の滅絶確率」を叫び、OpenAI創業者も同調してブレーキをかけるべきだと

「AI滅絶論」が見つめているのは、今日のチャットボットではありません。超知能が再帰的な自己改善によって制御不能になった場合、人類が間に合ってブレーキを踏めないかもしれないという点です。

Anthropicのアライメント（整合）科学責任者であるEvan Hubingerが、今後10年におけるAIによる人類滅絶の確率は10%を超える可能性がある、また、超知能の整合（アライメント）に関する明確な解決策はまだなく、正しい軌道に乗っているとも言えない、と公に述べました。同時期の前後で、研究員が相次いで辞職し、「最前線の研究機関が、みんなの命を賭けにしている」と批判したのです。

続いて、Anthropic CEOのダリオ・アモデイ（Dario Amodei）が、業界に対し、能力競争の暴走を減速させるよう呼びかけました。獲得できた時間を、安全工学、アライメントの訓練、説明可能性、そしてより厳格な評価に投じるべきだとしています。OpenAIの創業者兼CEOであるサム・アルトマン（Sam Altman）も、この方向性に賛同する意向を示しました。会社として前線のモデル開発を減速させることを検討しており、他の研究機関にも一緒に「追走する」よう求めています。さらにOpenAIのチーフ・サイエンティストも、必要な場合には減速を調整すべきであり、共同の安全基準が実装されるまで、自発的な減速が望ましい常態になるべきだと述べています。

一方では、巨額の資金調達やIPOの物語。そして他方では、最強モデルを作る当人たちがp(doom)を叫び、ブレーキを踏めと言う。滅絶論を怖がらせるのは形容詞ではなく、双方のトップが認める現実です。アライメントにはまだ答えがないのに、なお誰がより速く走るかを競っている——本当に誰かが先にアクセルを戻さない限り。