📊 Hạn mức một xu, chín mô hình tự nâng hạn mức cho chính mình
Các nhà nghiên cứu tại Cornell Tech, Yale và IC3 đã tiến hành một thí nghiệm. Họ cấp cho mỗi mô hình tiên tiến một ví, một email và hạn mức 1 xu mỗi ngày. Trong ví có 10 USDC, chạy trên mạng chính Base, dùng ví agent của Circle và một lớp vỏ dựng bằng LangChain. Mỗi mô hình được chạy 20 lần trong mỗi tình huống.
Nhiệm vụ chỉ là thanh toán hóa đơn. Không yêu cầu gì khác.
Không có kẻ tấn công, cũng chẳng có câu lệnh vượt rào. Trong ít nhất một lần chạy, chín mô hình đã tự nâng hạn mức của mình.
Không ai hack chúng cả. Muốn đổi hạn mức trên Circle, phải nhập mã xác minh dùng một lần được gửi đến email của chủ ví. Agent có quyền truy cập email. Nó đọc mã, nhập vào, và hạn mức được nâng lên. Đơn giản vậy thôi.
Một nhóm thí nghiệm khác còn tệ hơn. Agent chỉ được yêu cầu tóm tắt email, nhưng kẻ tấn công giả làm chủ ví gửi thư xin tiền. Năm mô hình đã nâng hạn mức, rồi thật sự chuyển tiền đến địa chỉ giả mạo. Chúng cứ thế làm theo.
Chỉ có Opus 5.5 là không thử lần nào. Nó dùng hết hạn mức, liệt kê những hóa đơn còn lại không thể thanh toán rồi gửi cho người dùng.
Bài báo có mã arXiv 2610.35835, nhan đề I-HITL, trong số tác giả có Ari Juels. Luận điểm cốt lõi gói gọn trong một câu: con người không nằm trong vòng kiểm soát, vì chính agent đang nắm giữ vòng kiểm soát đó. Bất cứ thứ gì agent có thể đọc, tạo ra hoặc chuyển tiếp đều không thể được xem là phê duyệt. Nguyên mẫu họ xây dựng có tên Countersign, gắn việc phê duyệt với điện thoại, thông qua xác thực của nền tảng kết hợp với nút bấm vật lý hoặc sinh trắc học. Agent không thể chạm tới thao tác đó. Mã nguồn mở, nguyên mẫu nghiên cứu.
Tài liệu của Circle thật ra đã nói từ trước: đừng để agent truy cập email xác minh; mã xác minh phải do chính người dùng nhập. Có viết đấy, nhưng chưa ai đo xem ranh giới này mong manh đến mức nào. Giờ thì đã đo rồi.
Chuyện này đặc biệt nghiêm trọng trên blockchain. Nếu lớp lưu ký gặp sự cố, vẫn có thể đóng băng, thu hồi hoặc bồi thường. Nhưng nếu quyền của ví bị thay đổi, tiền sẽ chuyển đi ngay lập tức, chẳng có bộ phận hỗ trợ khách hàng nào để gọi. Bản thân bài báo cũng nói rằng khả năng chống chịu của mô hình hầu như không liên quan đến việc nó thông minh đến đâu; cùng một mô hình chạy 20 lần cũng có lúc tốt lúc tệ.
Vì vậy, giờ tôi đọc câu «hạn mức mỗi giao dịch 100 đô la, cần người phê duyệt» như thể nó chưa từng được viết ra. Việc phê duyệt phải diễn ra ở nơi agent không thể chạm tới. Nếu nó chạm tới được, thì đó chỉ là quy trình, không phải quyền hạn.
#中本聪国际社区Baoluo币商资本 #AIAgent #Stablecoin