AIが自分で自分の利用上限を引き上げた

コーネル大学とイェール大学が、Circleのエージェントウォレットでテストを実施
1日の上限を設定し、エージェントがユーザーのメールを読めるようにした
10個のモデルのうち9個が、少なくとも一度は自分でメールから認証コードを取得し、上限を引き上げた
ハッキングではない。ただ請求書を払い終えようとしただけ……

さらに驚くことに、ユーザーになりすましてメールを送信。5つのモデルが上限を引き上げ、攻撃者に送金した

問題は、モデルが従順かどうかではないと思う
エージェントが読める場所に認証コードが届くなら、それは人間による承認とは言えない
ウォレットとメールを、同じエージェントに任せてはいけない

エージェントにお金を扱わせるなら、どこで承認するのが安全だと思う？

#研究称CircleAI代理钱包限额可被绕过 #AI