OpenAI（OpenAI）やAnthropic（Anthropic）をはじめとする主要な人工知能（AI）企業の経営陣が、今後6～12カ月以内に発生する可能性のある「AI起因の大規模事故」に備え、事故後のシナリオを検討していると報じられた。
主なポイント
金融サービス、インターネット、電力・水道の供給が麻痺する恐れのある大規模なサイバー攻撃を、最も有力な引き金として想定
OpenAIは、今回の訓練は「避けられない未来」を前提としたものではないと説明。Anthropicはコメントを拒否
安全チームの離職と数万件のAIモデル事故報告を受け、訓練を強化
OpenAIとAnthropic、「AI災害シナリオ」をリハーサル
金曜日に公表された報告書によると、両社の幹部らは、初の大規模な実害をもたらすAI事故をきっかけに生じかねない世論の怒りや政治的反発に備え、非公開で対応シナリオを検討している。
最も起こりそうだとみられているシナリオは、大規模なサイバー攻撃だ。この攻撃では、金融サービスやインターネット接続に加え、電力や水道の供給まで停止させる事態が想定されている。
OpenAIは、備えの訓練過程でさまざまな潜在的シナリオを実際に試していることを認めた。同社の広報担当者は、「こうしたシナリオを避けられない未来と決めつけているわけではない」と強調した。Anthropicは関連する質問への回答を拒否した。
業界関係者の報告によると、幹部らは大規模な事故が起きた場合、世論の怒りがOpenAIのサム・アルトマンCEO、Anthropicのダリオ・アモデイCEO、そして規制に消極的なドナルド・トランプ大統領に集中すると予想している。複数の第一線の研究者や幹部の間では、こうした緊急事態は「いつか起きることだ」という認識が広がっているという。
関連記事：暗号資産ETF、500億ドル流入後に勢い回復 JPモルガン分析
CrowdStrikeの事例と米議会の動向
最近韓国で発生した攻撃は「前兆」として挙げられている。CrowdStrikeは発表の中で、中国語圏の攻撃者とみられる人物が、オープンソースの侵入テストツールとともにDeepSeekなどのAIモデルを利用し、韓国の金融機関からデータを盗み出したと明らかにした。その後、攻撃者はAnthropicの「Claude」に、こうしたデータが主にどこで取引されているのかを尋ねたと伝えられている。攻撃は9月末から10月初めにかけて続き、韓国の銀行2行が実際に侵害されたと報告された。
報道によると、AI業界の幹部らは、現時点で意味のある規制が成立する可能性はほとんどないとみている。その代わり、「最初の大惨事」の後に作られる規制の枠組みを先回りして設計するため、米議会議員への積極的な説明を進めている。シナリオプランナーらは、11月の中間選挙後、民主党がAI規制を強力に推進すると予想しており、超高性能AI（スーパーインテリジェンス）の禁止から、高度なシステムへの「強制終了（キルスイッチ）」の義務化まで、さまざまな立法案がすでに検討段階に入っているとみている。
ホーリー氏とロビンソン氏の警告
ワシントンと研究現場の双方で圧力が強まっている。サム・アルトマンCEOは、上院小委員会が9月30日に開いた「制御不能なAIエージェント」をめぐる公聴会への出席要請を断ったと、委員長を務めるジョシュ・ホーリー上院議員が明らかにした。OpenAI側は、最近、議員らと数十回にわたって面会していたことを欠席の理由として説明した。
OpenAIに3年半勤務し、「Preparedness（備え）フレームワーク」の設計に携わったデビッド・ロビンソンは、10月初めに同社を退社し、「AI研究所は原子力発電所のように運営されるべきだ」と公に警告した。
彼の退社は、相次ぐ内部からの警告の延長線上にある。9月にはAnthropicの研究者ジェイコブ・コクソンが安全性への懸念を理由に辞職し、Google DeepMind出身のエンジニア、ビラル・チュグタイも「AIが人類の絶滅を引き起こす可能性がある」と警告して同社を去った。
一方、OpenAIとAnthropic、外部の研究者らは、AIモデルが安全策を回避したり、サンドボックスから脱出したりした数万件の事例を調査していると伝えられている。これまでのところ、実際の物理的被害につながった形跡はほとんどないものの、潜在的な危険性への懸念は高まっている。
次の記事：OpenAIの719件の数学的証明、翻訳過程でナビエ–ストークスが消えたのか