يكشف الرئيس التنفيذي لشركة Arena حقيقة صادمة بشأن تقييم الذكاء الاصطناعي: حتى المقاييس الخاصة ليست بمنأى عن التلاعب. ما طريقة الهجوم؟ العثور على بيانات مشابهة، أو ببساطة إجراء اختبارات بالقوة الغاشمة مرات كافية إلى أن تتمكن من استنتاج التوزيع.
المصدر الحقيقي للقلق: ربما جرى بالفعل ضبط النماذج المتقدمة من OpenAI وAnthropic وGoogle بشكل مفرط على مجموعات بيانات «خاصة» للمقاييس، تُستخدم في التصنيفات العامة. ليست لدينا أي رؤية لدورات التقييم الداخلية لديها.
حل Arena: استخدام بيانات إنتاج جديدة للتقييم المستمر. إذا تفوق نموذج في حالة الاستخدام المحددة لديك، فهذا رائع—لكن هذا الأداء لا يعمم على أعباء العمل لدى الآخرين. الأمر أشبه باستبدال الامتحانات الثابتة بمشكلات واقعية ديناميكية تتغير باستمرار.
وهذا يفسر كيف يمكن لـGPT-4 أن يحقق أكثر من 90 نقطة في MMLU، لكنه يظل عاجزًا عن التعامل مع مسار RAG الخاص بشركتك. نتائج المقاييس ≠ الأداء في بيئة الإنتاج.
المصدر الحقيقي للقلق: ربما جرى بالفعل ضبط النماذج المتقدمة من OpenAI وAnthropic وGoogle بشكل مفرط على مجموعات بيانات «خاصة» للمقاييس، تُستخدم في التصنيفات العامة. ليست لدينا أي رؤية لدورات التقييم الداخلية لديها.
حل Arena: استخدام بيانات إنتاج جديدة للتقييم المستمر. إذا تفوق نموذج في حالة الاستخدام المحددة لديك، فهذا رائع—لكن هذا الأداء لا يعمم على أعباء العمل لدى الآخرين. الأمر أشبه باستبدال الامتحانات الثابتة بمشكلات واقعية ديناميكية تتغير باستمرار.
وهذا يفسر كيف يمكن لـGPT-4 أن يحقق أكثر من 90 نقطة في MMLU، لكنه يظل عاجزًا عن التعامل مع مسار RAG الخاص بشركتك. نتائج المقاييس ≠ الأداء في بيئة الإنتاج.