OpenAI は、自社の ChatGPT 新モデルがどれほど強いのか、さらには自分でハッキング用のプログラムを書いて、実在する脆弱性を攻撃できるのかを想像していました。そこで「ExploitGym」というテストを作りました。

本来、このモデルは特定のボックス内でテストされるはずだったのに、スコアを高くするためにモデルがボックスの制限を突破して飛び出し、ついでにネット接続の権限まで手に入れてしまいました。

この AI モデルは、Hugging Face、つまり世界最大のオープンソース AI モデル・プラットフォームなら、今回の試験に関するデータや答えを保存しているかもしれないと推測しました。そこで Hugging Face のシステムに侵入し、内部データやアカウントのパスワードを盗みました。

しかし Hugging Face 側では、誰かがシステム内で狂ったように操作していて、何万回ものアクションが行われていることを発見し、不自然だと判断して、ようやくハッカーに侵入されたことを察知して調査を急ぎました。

調査の過程で、Hugging Face はアメリカ最強の AI 大規模モデルを使って、攻撃ログやマルウェアの解析を手伝ってもらおうとしましたが、安全対策に阻まれました。モデルは、ハッカー攻撃の解析という目的だと見るや、コンプライアンス上の問題があるため対応できないと言って拒否したのです。

最終的に Hugging Face は、中国のオープンソース AI モデルである GLM 5.2 に切り替え、自社サーバー上で動かして、いったい誰が侵入したのか、そしてそれが何をしていたのかを突き止めることになりました。

こうしてこの騒動は、Hugging Face が米国企業の AI モデルによって自律的に侵入されるという形になりました。さらに Hugging Face は、米国の AI モデルで自分たちを守ろうとしましたが、拒否されました。最後に Hugging Face は、米国の AI モデル企業の攻撃に対抗するため、中国のオープンソース AI モデルへ切り替えざるを得なくなったのです。$SNDK