ما الذي ينبغي أن يتطلب موافقة بشرية؟

قد لا يكون أكبر خطر في وكيل الذكاء الاصطناعي هو ما يفكر فيه، بل ما يُسمح له بفعله.

قد يكون النموذج بارعًا في التخطيط، لكن ما إن يصبح قادرًا على إنفاق الأموال أو استدعاء واجهات برمجة تطبيقات مدفوعة أو التصرف عبر خدمات متعددة، حتى لا يعود القرار السيئ مجرد إجابة سيئة، بل قد يتحول إلى معاملة حقيقية.

ما لفت انتباهي في تصميم Kite هو الفصل بين المستخدم والوكيل والجلسة. يظل المستخدم صاحب السلطة العليا؛ ويحصل الوكيل على صلاحيات مفوّضة؛ ويمكن حصر الجلسة في مهمة أو فترة زمنية محددة. وهذا يرسم حدًا أوضح بين طلب المساعدة من الذكاء الاصطناعي ومنحه القدرة على التصرف.

كما يضع نهج Kite القيود القابلة للبرمجة على مستوى البنية التحتية. فمن المفترض فرض حدود الإنفاق والإجراءات المسموح بها من خلال التفويض المشفّر ومنطق العقود الذكية، لا الاكتفاء بكتابتها في مطالبة والتمني أن تسير الأمور على ما يرام.

في رأيي، هذه طريقة أنفع للتفكير في سلامة الذكاء الاصطناعي ضمن سير العمل المالي. على الأرجح لن نتمكن من القضاء على كل أخطاء النماذج، لكن يمكننا تصميم أنظمة لا يتحول فيها خطأ واحد تلقائيًا إلى صلاحيات غير محدودة.

والسؤال الذي يشغلني هو: إذا كانت للوكيل هوية واضحة وصلاحيات محدودة وسجل قابل للتدقيق، فما الذي ينبغي أن يظل خاضعًا لموافقة بشرية؟ سأرسم الحد الفاصل بشكل مختلف بين دفعة صغيرة لواجهة برمجة تطبيقات وتحويل أموال بين الحسابات.

قد لا تقل أهمية حدود الصلاحيات هذه عن أهمية الذكاء الذي يقف وراء الوكيل.

#KiteBBW $KITE