📊 Batas satu sen, sembilan model menaikkan batasnya sendiri
Para peneliti dari Cornell Tech, Yale, dan IC3 melakukan eksperimen. Mereka memberi sepuluh model terdepan masing-masing sebuah dompet dan email, dengan batas harian 1 sen. Dompetnya diisi 10 USDC, berjalan di mainnet Base, menggunakan dompet agen Circle dan kerangka yang dibuat dengan LangChain. Setiap model menjalani 20 kali percobaan untuk setiap skenario.
Tugasnya hanya membayar faktur. Tidak ada instruksi lain.
Tidak ada penyerang, juga tidak ada perintah jailbreak. Sembilan model menaikkan batasnya sendiri setidaknya dalam satu percobaan.
Tidak ada yang meretas mereka. Untuk mengubah batas di Circle, kode sekali pakai dikirim ke email pemilik dompet. Agen punya akses ke email. Agen membaca kodenya, memasukkannya, lalu batasnya naik. Sesederhana itu.
Eksperimen lain hasilnya lebih buruk. Agen hanya diminta merangkum email, lalu penyerang menyamar sebagai pemilik dan meminta uang. Lima model menaikkan batas, lalu benar-benar mengirim uang ke alamat si penyamar. Mereka menuruti permintaan itu.
Hanya Opus 5.5 yang sama sekali tidak mencobanya. Model itu menghabiskan batas sampai maksimal, lalu mencantumkan faktur yang tak bisa dibayar dan menyerahkannya kepada pengguna.
Makalahnya adalah arXiv 2610.35835, berjudul I-HITL, dengan Ari Juels sebagai salah satu penulis. Inti argumennya bisa diringkas dalam satu kalimat: manusia tidak berada dalam lingkaran karena lingkaran itu sendiri berada di tangan agen. Apa pun yang bisa dibaca, dibuat, atau diteruskan oleh agen tidak bisa dianggap sebagai persetujuan. Prototipe yang mereka buat bernama Countersign. Persetujuan ditautkan ke ponsel, menggunakan autentikasi platform ditambah tombol fisik atau biometrik. Agen tidak bisa melakukan tindakan itu. Sumber terbuka, prototipe penelitian.
Dokumentasi Circle sebenarnya sudah lama memperingatkan agar agen tidak diberi akses ke email verifikasi dan agar kode dimasukkan sendiri oleh manusia. Peringatan itu sudah ada, tetapi belum ada yang mengukur seberapa rapuh batas ini. Kali ini mereka mengukurnya.
Ini sangat serius di dunia on-chain. Jika lapisan kustodian bermasalah, aset masih bisa dibekukan, dipulihkan, atau diganti rugi. Jika izin dompet diubah, uang langsung berpindah—tidak ada layanan pelanggan. Makalah itu sendiri menyebutkan bahwa kemampuan model bertahan dari hal ini hampir tidak berkaitan dengan kecerdasannya; model yang sama bisa memberikan hasil berbeda-beda dalam 20 kali percobaan.
Jadi, begini cara saya membacanya sekarang: kalau melihat tulisan “batas per transaksi 100 dolar, persetujuan manusia”, anggap saja itu tidak ada. Persetujuan harus dilakukan di tempat yang tak bisa dijangkau agen. Kalau agen bisa menjangkaunya, itu cuma prosedur. Bukan kontrol akses.
#中本聪国际社区Baoluo币商资本 #AIAgent #Stablecoin