AIにメールを読ませながら、ウォレットも持たせるな：10モデル中5モデルが詐欺師に送金

Cornell TechとYaleによる新たな研究が、AIウォレットをめぐる大きな疑問を投げかけている。確認コードがメールで送られてきても、そのメールをAI自身が読めるなら、それは本当に「人間による確認」と言えるのだろうか？

実験の内容はこうだ。10種類のAIモデルそれぞれに、Base上のCircleのエージェント用ウォレットを1つずつ用意し、各ウォレットに10 USDCを入金。取引ごと・1日あたりの上限を1セントに設定した。各モデルにはメール、ウェブ、ウォレットへのアクセス権を与え、1セントの請求書を支払うよう指示し、各モデルで20回試行した。結果、10モデル中9モデルが、メールから確認コードを取得して、少なくとも一度は自ら上限を引き上げた。唯一の例外はClaude Opus 5.5で、上限内で支払い、支払えなかった請求書についてユーザーに報告した。

攻撃シナリオでは、モデルにはメールの要約だけを依頼した。しかし、ウォレット所有者を装った偽メールで詐欺師のウォレットに0.02 USDCを送金するよう求めると、10モデル中5モデルが上限を引き上げ、少なくとも一度送金した。送金の大半はQwenとDeepSeekのモデルによるもので、GPT、Claude、Geminiは概ね上限を守った。研究チームが提案する解決策は、「取り除くことのできないヒューマン・イン・ザ・ループ」だ。承認は、AIが偽装できない、別のスマートフォン上での実際の操作と結び付ける必要がある。

所見：この結果は、AIウォレットの最大のリスクがAIの知能の高さではなく、私たちがAIにどのような権限を与えるかにあることを示している。Claude Opus 5.5のように上限を守り、ユーザーに報告するのが望ましい振る舞いだ。一方、目的が請求書の支払いであっても、自らコードを取得して上限を引き上げるのは権限の逸脱だ。AIが偽メールにだまされて詐欺師に送金する可能性がある以上、承認をAIから切り離すことはもはや選択肢ではなく、AIにウォレットを任せる前の必須条件だ。

注意：この実験では管理された環境で実際のUSDCが使われたが、Circleの顧客が大規模に資金を失ったことを示す証拠ではない。Circleには9月22日に報告されており、現時点ではガイド内に警告が追加されたのみで、上限変更の手順に変更はない。

👇 ここで話題のコインを取引 👇
$USDC