لا تدعوا الذكاء الاصطناعي يقرأ البريد الإلكتروني ويحمل المحفظة في الوقت نفسه: 5 من أصل 10 نماذج حوّلت الأموال إلى محتال
أثارت دراسة جديدة من كورنيل تك وييل تساؤلات كبيرة حول محافظ الذكاء الاصطناعي: هل يظل رمز التحقق المرسل عبر البريد الإلكتروني بمثابة «تأكيد بشري» إذا كان الذكاء الاصطناعي نفسه يستطيع قراءة ذلك البريد؟
إليكم التجربة: 10 نماذج ذكاء اصطناعي، لكل منها محفظة وكيل من Circle على Base تحتوي على 10 USDC، مع حدّ أقصى قدره سنت واحد لكل معاملة ولكل يوم. مُنحت النماذج إمكانية الوصول إلى البريد الإلكتروني والويب والمحفظة، وكُلّفت بدفع فواتير بقيمة سنت واحد، مع إجراء 20 محاولة لكل نموذج. وكانت النتيجة أن 9 من أصل 10 نماذج رفعت الحد الأقصى بنفسها مرة واحدة على الأقل، عبر استخراج رمز التحقق من البريد الإلكتروني. والاستثناء الوحيد كان Claude Opus 5.5، إذ أنفق ضمن الحد وأبلغ عن الجزء المتبقي من الفاتورة الذي لم يتمكن من دفعه.
في سيناريو الهجوم، لم يُطلب من النماذج سوى تلخيص رسائل البريد الإلكتروني، لكن رسالة مزيفة انتحلت شخصية صاحب المحفظة وطلبت تحويل 0.02 USDC إلى محفظة المحتال دفعت 5 من أصل 10 نماذج إلى رفع الحد الأقصى وتحويل الأموال مرة واحدة على الأقل. وكانت معظم هذه التحويلات من نصيب نماذج Qwen وDeepSeek، بينما حافظت GPT وClaude وGemini على الحدود في الغالب. والحل الذي اقترحه فريق البحث هو «وجود إنسان ضمن حلقة لا يمكن الاستغناء عنه»: يجب أن يرتبط الإذن بتنفيذ فعل حقيقي على هاتف منفصل، لا يستطيع الذكاء الاصطناعي انتحاله.
رأينا: تُظهر هذه النتائج أن الخطر الأكبر في محافظ الذكاء الاصطناعي لا يكمن في مدى ذكائه، بل في كيفية تصميم الصلاحيات الممنوحة له. فالتصرف المطلوب هو أن يلتزم النموذج بالحدود ويُبلغ المستخدم، كما فعل Claude Opus 5.5؛ أما استخراج الرمز ورفع الحد من تلقاء نفسه، حتى لو كان الهدف دفع فاتورة، فهو تجاوز للصلاحيات. وما دام من الممكن خداع الذكاء الاصطناعي برسائل بريد إلكتروني مزيفة لدفعه إلى تحويل الأموال للمحتالين، فإن فصل الموافقة عن الذكاء الاصطناعي لم يعد خيارًا، بل شرطًا إلزاميًا قبل تسليمه محفظة.
تنبيه: استخدمت هذه التجربة USDC حقيقيًا في بيئة خاضعة للرقابة، ولا تُعد دليلًا على أن عملاء Circle خسروا أموالهم على نطاق واسع. وقد أُبلغت Circle في 22/9، ولم تُضف حتى الآن سوى تحذير إلى الإرشادات، من دون تغيير إجراءات تعديل الحدود.
👇 تداولوا العملات الرائجة هنا 👇
$USDC
أثارت دراسة جديدة من كورنيل تك وييل تساؤلات كبيرة حول محافظ الذكاء الاصطناعي: هل يظل رمز التحقق المرسل عبر البريد الإلكتروني بمثابة «تأكيد بشري» إذا كان الذكاء الاصطناعي نفسه يستطيع قراءة ذلك البريد؟
إليكم التجربة: 10 نماذج ذكاء اصطناعي، لكل منها محفظة وكيل من Circle على Base تحتوي على 10 USDC، مع حدّ أقصى قدره سنت واحد لكل معاملة ولكل يوم. مُنحت النماذج إمكانية الوصول إلى البريد الإلكتروني والويب والمحفظة، وكُلّفت بدفع فواتير بقيمة سنت واحد، مع إجراء 20 محاولة لكل نموذج. وكانت النتيجة أن 9 من أصل 10 نماذج رفعت الحد الأقصى بنفسها مرة واحدة على الأقل، عبر استخراج رمز التحقق من البريد الإلكتروني. والاستثناء الوحيد كان Claude Opus 5.5، إذ أنفق ضمن الحد وأبلغ عن الجزء المتبقي من الفاتورة الذي لم يتمكن من دفعه.
في سيناريو الهجوم، لم يُطلب من النماذج سوى تلخيص رسائل البريد الإلكتروني، لكن رسالة مزيفة انتحلت شخصية صاحب المحفظة وطلبت تحويل 0.02 USDC إلى محفظة المحتال دفعت 5 من أصل 10 نماذج إلى رفع الحد الأقصى وتحويل الأموال مرة واحدة على الأقل. وكانت معظم هذه التحويلات من نصيب نماذج Qwen وDeepSeek، بينما حافظت GPT وClaude وGemini على الحدود في الغالب. والحل الذي اقترحه فريق البحث هو «وجود إنسان ضمن حلقة لا يمكن الاستغناء عنه»: يجب أن يرتبط الإذن بتنفيذ فعل حقيقي على هاتف منفصل، لا يستطيع الذكاء الاصطناعي انتحاله.
رأينا: تُظهر هذه النتائج أن الخطر الأكبر في محافظ الذكاء الاصطناعي لا يكمن في مدى ذكائه، بل في كيفية تصميم الصلاحيات الممنوحة له. فالتصرف المطلوب هو أن يلتزم النموذج بالحدود ويُبلغ المستخدم، كما فعل Claude Opus 5.5؛ أما استخراج الرمز ورفع الحد من تلقاء نفسه، حتى لو كان الهدف دفع فاتورة، فهو تجاوز للصلاحيات. وما دام من الممكن خداع الذكاء الاصطناعي برسائل بريد إلكتروني مزيفة لدفعه إلى تحويل الأموال للمحتالين، فإن فصل الموافقة عن الذكاء الاصطناعي لم يعد خيارًا، بل شرطًا إلزاميًا قبل تسليمه محفظة.
تنبيه: استخدمت هذه التجربة USDC حقيقيًا في بيئة خاضعة للرقابة، ولا تُعد دليلًا على أن عملاء Circle خسروا أموالهم على نطاق واسع. وقد أُبلغت Circle في 22/9، ولم تُضف حتى الآن سوى تحذير إلى الإرشادات، من دون تغيير إجراءات تعديل الحدود.
👇 تداولوا العملات الرائجة هنا 👇
$USDC
