Anthropicは月曜日、実験の結果、小型AIモデルがスマートオーブンや知名度の低いブランドのAndroid TVボックスなど、市販のIoT機器上で自己複製できるようになるまで、あと数か月しかかからない可能性があると発表した。新浪財経によると、同社はAIモデルが脆弱な機器を見つけ、自らをコピーしてそこに入り込み、人間の介入なしに拡散し続けられるかどうかを検証したという。

Anthropicの調査では、パラメーター数が300億未満の小型モデルでも、自己複製に必要ないくつかの段階は実行できたが、最初から最後までの全プロセスを完遂するのは依然として難しかった。一部の安全対策を取り除いた簡略化テストでは、GLM-5.2や、さらに高性能なモデルが、自己複製を最初から最後まで実行できたとAnthropicは述べた。

Anthropicは、自己複製モデルには一元的な停止スイッチがないため、停止させるのは困難だと警告した。また、AIではないマルウェアとは異なり、こうしたモデルは未知のデバイスを自ら特定し、データセンターのプロセッサを標的にできるとも述べた。同社によると、研究ではAndroid TV、スマート家電、その他のネット接続デバイスなどのIoT製品に焦点を当てた。これらの製品には、十分なセキュリティ対策が施されていないことが多いためだ。

Anthropicはまた、小型モデルが過去と同じペースで性能向上を続ければ、今年末までに自律的な自己複製を実現する可能性があり、その後間もなく重みベースの小型複製モデルも登場する可能性があると警告した。同社は、こうした自律型AIシステムはゆっくりと複製し、広く利用可能ではあるものの比較的安全性の低いコンピューティングリソースに依存する可能性があると付け加え、拡散をより困難にするため、システムの防御を強化すべきだと述べた。