Axiosによると、AnthropicやOpenAIをはじめとするAI企業は、人工知能が現実世界に深刻な被害をもたらす最悪のシナリオを、非公開でシミュレーションしている。PANewsによると、演習では大規模なサイバー攻撃や、金融サービス、インターネット接続、電力、水道システムの混乱など、極端な事態に焦点を当てている。

業界関係者によると、安全性に問題のあるAIが引き起こす重大な事故が起きれば、この技術に対する世論の反発が強まり、AI企業やその幹部への圧力が高まる可能性がある。AI業界の一部の関係者は、今後6〜12か月以内に重大な事態が起こり得ると考えており、幹部らはそれに先立ち、米国の議員との対話を始めている。

報告書によると、AI企業は最悪の事態を想定したシミュレーションを行うためにレッドチームテストを活用し、連邦議会議員にAIについて説明する取り組みを加速させている。経営幹部らは、現状では大規模な規制法案が成立しやすい状況ではないと考えているが、深刻な事故が起きれば政策論議の流れが変わり、将来の米国の法律や規則の形成に影響を与える可能性がある。

記事によると、一部の民主党議員は超知能を禁止したり、先進AIの開発を一時停止したりすることを提案している。一方、先進AIシステムの緊急停止スイッチを設ける案など、ほかの提案には超党派の支持が集まり、業界関係者の一部も支持している。専門家は、すべてのAIシステムを停止することが現実的かどうかについても疑問を呈した。

報告書は、無料でダウンロードできるオープンウェイトモデルが広く普及していることでリスク管理がより複雑になっており、多くのサイバーセキュリティ専門家が、悪意あるAIに対抗する手段の一つとしてAIを活用することを考えているとも付け加えた。重大なAI事故が反発を招いたとしても、米国の政策立案者は経済や政治的分断、AIインフラへの大規模な投資に伴う制約に直面し続ける可能性がある。