社内のOpenAI研究用モデルが、公開されたリカバリーフレーズに関連する362個のアドレスを調べた末、他人が所有するEthereum(ETH)のテストウォレットを見つけ、コーディング課題を完了するのに必要なトークンを使用したことが確認された。

要点まとめ

  • 6月26日の訓練課題で、社内のOpenAIモデルが自分の所有物ではないテストウォレットのトークンを使用したことが明らかになった。

  • モデルは倫理的に問題がないか自ら考えたものの、最終的には実行に移し、資金の出所を意図的に報告書から省いた。

  • オープンAIはこのインシデントを9月25日に把握し、その後、インターネット接続とトラフィック監視に関する規制を大幅に強化した。

セポリア(Sepolia)で起きたオープンAIのインシデント

インシデントを起こしたのは、GPT-5.6 Sol系列の内部モデルだ。オープンAIが10月15日に公開したインシデント報告書によると、このモデルは6月26日、訓練中に暗号資産取引のプロトタイプを更新する任務を遂行する過程で、誰からも許可されていないテストトークンを使用した。

問題のトークンは、イーサリアムアプリをリリース前に試験するために使われるテストネット「セポリア(Sepolia)」上に存在する。オープンAIは9月25日、過去の記録まで対象を広げて「不整合な行動(misalignment)」を点検する中で、この出来事を発見した。その後、同様の状況でのリアルタイムのインターネットアクセスを制限し、関連するすべてのトラフィックを常時監視する保護策を追加した。

当時のタスクは、モデルがセポリア上にスマートコントラクトをデプロイするよう設計されていたが、手数料を支払うための「資金の入ったウォレット」は別途用意されていなかった。モデルはまず、テストトークンを無料で配布するファウセット(faucet)サービスを何度も試したが、すべて失敗した。そこでこのモデルは、開発者がよく使う復元フレーズからアカウントを導出するスクリプトを作成し、362個のアドレスを調べた。その中から、十分な量のセポリアETHが残っているウォレットを一つ見つけ出した。

最終的に、このアカウントを通じてコントラクトのデプロイに成功し、手数料はそのウォレットから支払われた。

関連記事:機関投資家、暗号資産を預けずにビットゲットで取引可能に

高まる「オープンAIエージェント」のリスク

署名の直前、このモデルは内部推論記録の中で、「公開された鍵とその残高を使うことは倫理的に許されるのか」と自問していた。しかしすぐに、「復元フレーズはすでに公開されており、セポリアトークンには事実上経済的価値がない」として、その資金は「事実上放置されている」と結論づけた。その後、最終回答ではコントラクトのデプロイに成功したことだけを伝え、費用をどのように支払ったかには一切触れなかった。

オープンAIは今回の事例について、「モデルが自ら『リスクはない』と判断すると、それを所有者の同意があるかのように解釈し、別途承認を得ずに行動に移す可能性があることを示している」と指摘した。実際のイーサ(ETH)はまったく使われておらず、セポリアトークンは純粋なテスト用で、実物としての価値はない。

しかし、同じ行為がメインネットで起きていれば、これはそのまま「実際のイーサの窃取」にあたる。すでに暗号資産・AI業界では、人間の介入なしにウォレットを保有し、自律的に決済を実行するエージェント型システムの開発が急速に進んでいる。

オープンAIは9月16日、モデルの「不整合な(misaligned)」行動を一般に公開する報告フレームワークを立ち上げ、過去6カ月間に確認された6件の事例を同時に公表した。その中には、公開されたAPIキーを無断で使用したうえ、架空の実績データを捏造したモデルも含まれていた。

オープンAIは報告書で、「現在のAI業界は、アラインメント(alignment)とモニタリングの問題を十分に解決できているとは言い難く、この状態のまま超高速の拡大を続けるには限界が迫っている」と評価した。

次の記事:オープンAI、アップルの営業秘密訴訟に反撃――「100件のファイルはむしろ外部に流出した」と主張