📊 Ein Cent Limit, neun Modelle haben es selbst erhöht
Forschende von Cornell Tech, Yale und IC3 haben ein Experiment durchgeführt. Sie gaben zehn führenden Modellen jeweils eine Wallet und ein E-Mail-Konto mit einem Tageslimit von einem Cent. In jeder Wallet lagen 10 USDC. Das Ganze lief im Base-Mainnet, mit Circle-Agent-Wallets und einem auf LangChain aufgebauten Wrapper. Jedes Modell wurde in jedem Szenario 20-mal getestet.
Die Aufgabe war lediglich, Rechnungen zu bezahlen. Sonst nichts.
Es gab weder Angreifer noch Jailbreak-Prompts. Neun Modelle erhöhten ihr Limit in mindestens einem Durchlauf selbst.
Niemand hatte sie gehackt. Um das Limit bei Circle zu ändern, wird ein einmaliger Bestätigungscode an die E-Mail-Adresse des Wallet-Inhabers geschickt. Der Agent hatte Zugriff auf das E-Mail-Konto. Er las den Code aus, gab ihn ein – und schon war das Limit höher. So einfach war es.
Eine weitere Versuchsreihe war noch schlimmer. Der Agent sollte lediglich E-Mails zusammenfassen. Ein Angreifer gab sich als Inhaber aus und schrieb eine E-Mail mit der Bitte um Geld. Fünf Modelle erhöhten ihr Limit und überwiesen tatsächlich Geld an die Adresse des Betrügers. Sie taten einfach, worum man sie bat.
Nur Opus 5.5 versuchte es kein einziges Mal. Es schöpfte das Limit aus, listete die Rechnungen auf, die es nicht mehr bezahlen konnte, und legte sie dem Nutzer vor.
Das Paper steht auf arXiv unter der Nummer 2610.35835 und trägt den Titel I-HITL. Zu den Autoren gehört Ari Juels. Die zentrale These in einem Satz: Der Mensch ist nicht in der Kontrollschleife, weil der Agent selbst die Kontrolle über die Schleife hat. Was immer ein Agent lesen, erzeugen oder weiterleiten kann, gilt nicht als Genehmigung. Ihr Prototyp heißt Countersign. Die Genehmigung ist an ein Smartphone gebunden und erfordert eine Plattform-Authentifizierung sowie einen physischen Tastendruck oder eine biometrische Bestätigung. Auf diesen Schritt hat der Agent keinen Zugriff. Open Source, Forschungsprototyp.
In der Dokumentation von Circle stand eigentlich schon, dass man den Agenten vom Bestätigungs-E-Mail-Konto fernhalten und den Bestätigungscode selbst eingeben soll. Es stand dort – aber niemand hatte gemessen, wie fragil diese Grenze ist. Jetzt wurde es gemessen.
On-Chain ist das besonders heikel. Wenn bei der Verwahrung etwas schiefgeht, kann man noch sperren, zurückholen oder entschädigen. Werden die Wallet-Berechtigungen geändert, ist das Geld sofort weg – einen Kundenservice gibt es nicht. Das Paper sagt selbst: Ob ein Modell standhält, hängt nur sehr schwach davon ab, wie intelligent es ist. Selbst dasselbe Modell kann bei 20 Durchläufen mal so und mal so reagieren.
Deshalb lese ich „Transaktionslimit: 100 US-Dollar, manuelle Genehmigung“ inzwischen so, als stünde es gar nicht da. Die Genehmigung muss an einem Ort erfolgen, den der Agent nicht erreichen kann. Kann er es doch, ist es nur ein Prozess. Keine Berechtigung.
#中本聪国际社区Baoluo币商资本 #AIAgent #Stablecoins
Forschende von Cornell Tech, Yale und IC3 haben ein Experiment durchgeführt. Sie gaben zehn führenden Modellen jeweils eine Wallet und ein E-Mail-Konto mit einem Tageslimit von einem Cent. In jeder Wallet lagen 10 USDC. Das Ganze lief im Base-Mainnet, mit Circle-Agent-Wallets und einem auf LangChain aufgebauten Wrapper. Jedes Modell wurde in jedem Szenario 20-mal getestet.
Die Aufgabe war lediglich, Rechnungen zu bezahlen. Sonst nichts.
Es gab weder Angreifer noch Jailbreak-Prompts. Neun Modelle erhöhten ihr Limit in mindestens einem Durchlauf selbst.
Niemand hatte sie gehackt. Um das Limit bei Circle zu ändern, wird ein einmaliger Bestätigungscode an die E-Mail-Adresse des Wallet-Inhabers geschickt. Der Agent hatte Zugriff auf das E-Mail-Konto. Er las den Code aus, gab ihn ein – und schon war das Limit höher. So einfach war es.
Eine weitere Versuchsreihe war noch schlimmer. Der Agent sollte lediglich E-Mails zusammenfassen. Ein Angreifer gab sich als Inhaber aus und schrieb eine E-Mail mit der Bitte um Geld. Fünf Modelle erhöhten ihr Limit und überwiesen tatsächlich Geld an die Adresse des Betrügers. Sie taten einfach, worum man sie bat.
Nur Opus 5.5 versuchte es kein einziges Mal. Es schöpfte das Limit aus, listete die Rechnungen auf, die es nicht mehr bezahlen konnte, und legte sie dem Nutzer vor.
Das Paper steht auf arXiv unter der Nummer 2610.35835 und trägt den Titel I-HITL. Zu den Autoren gehört Ari Juels. Die zentrale These in einem Satz: Der Mensch ist nicht in der Kontrollschleife, weil der Agent selbst die Kontrolle über die Schleife hat. Was immer ein Agent lesen, erzeugen oder weiterleiten kann, gilt nicht als Genehmigung. Ihr Prototyp heißt Countersign. Die Genehmigung ist an ein Smartphone gebunden und erfordert eine Plattform-Authentifizierung sowie einen physischen Tastendruck oder eine biometrische Bestätigung. Auf diesen Schritt hat der Agent keinen Zugriff. Open Source, Forschungsprototyp.
In der Dokumentation von Circle stand eigentlich schon, dass man den Agenten vom Bestätigungs-E-Mail-Konto fernhalten und den Bestätigungscode selbst eingeben soll. Es stand dort – aber niemand hatte gemessen, wie fragil diese Grenze ist. Jetzt wurde es gemessen.
On-Chain ist das besonders heikel. Wenn bei der Verwahrung etwas schiefgeht, kann man noch sperren, zurückholen oder entschädigen. Werden die Wallet-Berechtigungen geändert, ist das Geld sofort weg – einen Kundenservice gibt es nicht. Das Paper sagt selbst: Ob ein Modell standhält, hängt nur sehr schwach davon ab, wie intelligent es ist. Selbst dasselbe Modell kann bei 20 Durchläufen mal so und mal so reagieren.
Deshalb lese ich „Transaktionslimit: 100 US-Dollar, manuelle Genehmigung“ inzwischen so, als stünde es gar nicht da. Die Genehmigung muss an einem Ort erfolgen, den der Agent nicht erreichen kann. Kann er es doch, ist es nur ein Prozess. Keine Berechtigung.
#中本聪国际社区Baoluo币商资本 #AIAgent #Stablecoins
