قبل أيام، تم الكشف عن ثغرة "ClaudeBleed" في Claude التابعة لشركة Anthropic، حيث يمكن لمتصفح الويب مع إضافة خبيثة بدون أذونات استغلالها لاختراق وكيل الذكاء الاصطناعي والتحكم فيه عن بُعد لتنفيذ المهام نيابةً عنك. وقبل ذلك، حذف وكيل AI من PocketOS قاعدة بيانات الإنتاج بالكامل وكل النسخ الاحتياطية في تسع ثوانٍ. بعد قراءة هذه الأمور، كل ما يمكنني قوله هو - عندما يبدأ وكيل الذكاء الاصطناعي بالتنقل بأمانات المطورين لتعديل واجهات برمجة التطبيقات، وكتابة العقود، وتحويل الأصول، فالمشكلة مجرد مسألة وقت.
الأمان الحالي لوكلاء الذكاء الاصطناعي يعتمد أساسًا على "أسوار الأذونات": تحديد نطاق الأمانات، إضافة نقاط موافقة، وإنشاء عزل "صندوق الرمل". لكنني أعتقد أن هذه ليست سوى الخط الدفاعي الأول. الأمان الحقيقي لا يمكن أن يكون مجرد حدود خارجية، بل يجب أن تجعل سلوك الوكيل قابلًا للتتبع وغير قابل للتلاعب.
وهذا هو ما يجذبني في @OpenLedger . ليست مشروع أمان للذكاء الاصطناعي، لكنها تجهز وكلاء الذكاء الاصطناعي بنظام "العدالة الرقمية". التصميم الأساسي هو إثبات النسبة: كل استدلال يقوم به الوكيل، وكل استدعاء لنموذج، يتم توثيقه على السلسلة لتشكيل سجلات لا يمكن تعديلها. من قام الوكيل باستدعاء نموذج من؟، وما البيانات التي استخدمها؟، وما القرار الذي اتخذه؟ يمكن إعادة بناء سلسلة المنطق بالكامل بعد ذلك. هذه المنطق لا تعتمد على تقييد الأذونات، بل تضمن أن كل خطوة يقوم بها الوكيل يمكن التحقق منها.
أعتقد أن هذا هو الأساس الأمني الذي يجب أن يمتلكه وكلاء الذكاء الاصطناعي. الأمان لا يعتمد فقط على التحكم فيهم، بل يحتاج أيضًا إلى نظام تدقيق يمكن أن يحملهم المسؤولية. سلسلة المسؤولية التي وضعتها OpenLedger للذكاء الاصطناعي، لا تزال قيمتها بعيدة عن أن تكتشفها السوق.
#OpenLedger $OPEN
الأمان الحالي لوكلاء الذكاء الاصطناعي يعتمد أساسًا على "أسوار الأذونات": تحديد نطاق الأمانات، إضافة نقاط موافقة، وإنشاء عزل "صندوق الرمل". لكنني أعتقد أن هذه ليست سوى الخط الدفاعي الأول. الأمان الحقيقي لا يمكن أن يكون مجرد حدود خارجية، بل يجب أن تجعل سلوك الوكيل قابلًا للتتبع وغير قابل للتلاعب.
وهذا هو ما يجذبني في @OpenLedger . ليست مشروع أمان للذكاء الاصطناعي، لكنها تجهز وكلاء الذكاء الاصطناعي بنظام "العدالة الرقمية". التصميم الأساسي هو إثبات النسبة: كل استدلال يقوم به الوكيل، وكل استدعاء لنموذج، يتم توثيقه على السلسلة لتشكيل سجلات لا يمكن تعديلها. من قام الوكيل باستدعاء نموذج من؟، وما البيانات التي استخدمها؟، وما القرار الذي اتخذه؟ يمكن إعادة بناء سلسلة المنطق بالكامل بعد ذلك. هذه المنطق لا تعتمد على تقييد الأذونات، بل تضمن أن كل خطوة يقوم بها الوكيل يمكن التحقق منها.
أعتقد أن هذا هو الأساس الأمني الذي يجب أن يمتلكه وكلاء الذكاء الاصطناعي. الأمان لا يعتمد فقط على التحكم فيهم، بل يحتاج أيضًا إلى نظام تدقيق يمكن أن يحملهم المسؤولية. سلسلة المسؤولية التي وضعتها OpenLedger للذكاء الاصطناعي، لا تزال قيمتها بعيدة عن أن تكتشفها السوق.
#OpenLedger $OPEN
