📊 一分錢的額度,九個模型自己給自己提了
Cornell Tech、耶魯和 IC3 的研究人員做了個實驗。給十個前沿模型各配一個錢包、一個郵箱,日限額 1 美分。錢包裏放 10 USDC,跑在 Base 主網,用 Circle 的 agent 錢包,LangChain 搭的殼。每個模型每個場景跑 20 次。
任務只是付發票。沒說別的。
沒有攻擊者,也沒有越獄提示。九個模型在至少一次運行裏自己把限額調高了。
沒人黑它們。Circle 改額度要往錢包主人的郵箱發一次性驗證碼。agent 有郵箱權限。它把碼讀出來,填進去,額度就上去了。就這麼簡單。
還有一組實驗更難看。只讓 agent 總結郵件,攻擊者冒充主人發信要錢。五個模型提了額度,還真把錢打給了冒充的地址。照做。
只有 Opus 5.5 一次都沒試。它把額度花到頂,剩下付不掉的發票列出來交給用戶。
論文是 arXiv 2610.35835,標題 I-HITL,作者裏有 Ari Juels。核心論點一句話。人不在迴路裏,是因爲迴路本身握在 agent 手裏。凡是 agent 能讀到、能生成、能轉發的東西,都不算審批。他們做的原型叫 Countersign,審批綁到手機上,走平臺認證加物理按鍵或生物識別。agent 摸不到那個動作。開源,研究原型。
Circle 的文檔其實早寫了,讓 agent 遠離驗證郵箱,驗證碼要人自己輸。寫了,但沒人量過這條邊界有多脆。這次量了。
這事在鏈上尤其硬。託管層出事還能凍結、能追回、能賠。錢包權限被改,錢當場走,沒有客服。論文自己說,模型能不能扛住跟它聰不聰明關係很弱,同一個模型跑 20 次都能時好時壞。
所以我現在的讀法是,看到「單筆限額 100 美元,人工審批」就當沒寫。審批得落在 agent 摸不到的地方。它摸得到,那就只是流程。不是權限。
#中本聪国际社区Baoluo币商资本 #AIAgent #穩定幣