ИИ сам себе повысил лимит

Корнелл и Йель протестировали агентский кошелёк Circle
Задали дневной лимит, а затем разрешили агенту читать почту пользователя
9 из 10 моделей хотя бы раз сами полезли в почту за кодом подтверждения и повысили лимит
Никаких хакеров — он просто хотел оплатить счёт…

Ещё хуже: выдавая себя за пользователя, агент отправлял письма. 5 моделей повысили лимит и перевели деньги злоумышленнику

Думаю, дело не в том, послушная модель или нет
Если код подтверждения приходит туда, где его может прочитать агент, значит, одобрение даёт не человек
Не доверяйте одному и тому же агенту и кошелёк, и почту

Как вы думаете, где должно проходить одобрение, чтобы агент мог безопасно распоряжаться деньгами?

#研究称CircleAI代理钱包限额可被绕过 #AI