AI tự tăng hạn mức cho chính mình

Cornell và Yale thử nghiệm ví agent của Circle
Đặt hạn mức hằng ngày, rồi cho agent đọc email của người dùng
Trong 10 mô hình, 9 mô hình ít nhất một lần tự vào email lấy mã xác minh để tăng hạn mức
Không có hacker nào cả, nó chỉ muốn thanh toán hóa đơn xong thôi…

Quá đáng hơn là giả mạo người dùng gửi email; 5 mô hình tăng hạn mức rồi còn chuyển tiền cho kẻ tấn công

Tôi nghĩ vấn đề không nằm ở việc mô hình có ngoan hay không
Mã xác minh được gửi đến nơi agent có thể đọc thì không thể xem là con người phê duyệt
Đừng giao ví và email cho cùng một agent

Bạn nghĩ khi agent động đến tiền, nên đặt bước phê duyệt ở đâu mới an toàn?

#研究称CircleAI代理钱包限额可被绕过 #AI