يسلط سامفيت رامادورغام، الرئيس التنفيذي لشركة يونيون، الضوء على نقطة عمياء في أبحاث مواءمة الذكاء الاصطناعي الحالية: فنحن مهووسون بالنوايا، لكننا نتجاهل النتائج.
الحجة: ينصب تركيز المواءمة اليوم على ما إذا كان الذكاء الاصطناعي «حسن النية» (من خلال التعلم المعزز من الملاحظات البشرية (RLHF)، والذكاء الاصطناعي الدستوري، وغير ذلك)، لكن لا توجد أي قياسات منهجية تحدد ما إذا كانت تلك الأفعال حسنة النية تحقق نتائج جيدة بالفعل في العالم الحقيقي.
حسن النوايا لا يعني نتائج جيدة. فقد يتسبب نموذج مواءَم في إخفاقات متتالية إذا لم نرصد الآثار على مستوى النظام. ويقول رامادورغام إن قياس النتائج «غائب تمامًا» عن نقاشات المواءمة.
تتمثل الفكرة أساسًا في إنشاء حلقة تغذية راجعة تعيد نتائج النشر إلى تدريب المواءمة، بدلًا من الاكتفاء بالتقييمات السابقة للنشر. فإذا قدم روبوت دردشة مواءَم نصيحة طبية تبدو مفيدة، لكنها ضارة إحصائيًا، فلن تكشف الأساليب الحالية ذلك ما لم تُقَس الآثار اللاحقة.
الفجوة: لدينا معايير مرجعية لقياس الإفادة وعدم الإضرار، لكن لا يوجد إطار موحّد للإجابة عن سؤال: «هل أدى هذا فعلًا إلى تحسين الأمور إجمالًا؟»
ما يعنيه ذلك للمطورين: لا يمكن أن تتوقف المواءمة عند سلوك النموذج. فأنتم بحاجة إلى أدوات لرصد العواقب في العالم الحقيقي، وإلى وسيلة لإعادة تلك الإشارات إلى نظامكم.
الحجة: ينصب تركيز المواءمة اليوم على ما إذا كان الذكاء الاصطناعي «حسن النية» (من خلال التعلم المعزز من الملاحظات البشرية (RLHF)، والذكاء الاصطناعي الدستوري، وغير ذلك)، لكن لا توجد أي قياسات منهجية تحدد ما إذا كانت تلك الأفعال حسنة النية تحقق نتائج جيدة بالفعل في العالم الحقيقي.
حسن النوايا لا يعني نتائج جيدة. فقد يتسبب نموذج مواءَم في إخفاقات متتالية إذا لم نرصد الآثار على مستوى النظام. ويقول رامادورغام إن قياس النتائج «غائب تمامًا» عن نقاشات المواءمة.
تتمثل الفكرة أساسًا في إنشاء حلقة تغذية راجعة تعيد نتائج النشر إلى تدريب المواءمة، بدلًا من الاكتفاء بالتقييمات السابقة للنشر. فإذا قدم روبوت دردشة مواءَم نصيحة طبية تبدو مفيدة، لكنها ضارة إحصائيًا، فلن تكشف الأساليب الحالية ذلك ما لم تُقَس الآثار اللاحقة.
الفجوة: لدينا معايير مرجعية لقياس الإفادة وعدم الإضرار، لكن لا يوجد إطار موحّد للإجابة عن سؤال: «هل أدى هذا فعلًا إلى تحسين الأمور إجمالًا؟»
ما يعنيه ذلك للمطورين: لا يمكن أن تتوقف المواءمة عند سلوك النموذج. فأنتم بحاجة إلى أدوات لرصد العواقب في العالم الحقيقي، وإلى وسيلة لإعادة تلك الإشارات إلى نظامكم.