معايير تقييم النماذج لا قيمة لها
كيف يمكن لنموذج أن يحقق 24% و59% في مهام البرمجة الـ113 نفسها؟
يحدث ذلك عندما تغيّر إطار التشغيل المحيط به.
بدأت أتجاهل معظم نتائج قوائم ترتيب النماذج الحديثة. يعود ذلك جزئيًا إلى الإرهاق، وجزئيًا إلى أن التحسن في الترتيب لا ينعكس على العمل الفعلي.
لذلك طلبت من فريق 8090 Labs قياس ما تغفله قوائم الترتيب: أداء النموذج وإطار التشغيل معًا، في إصلاحات أخطاء وميزات حقيقية من مشاريع مفتوحة المصدر.
اختبر 8090 Labs سبعة نماذج عبر خمسة أطر تشغيل.
إليكم بعض النتائج التي لم أتوقعها:
- حقق Claude Fable 5.1 من Anthropic نسبة 41% في Claude Code و61% في Codex من OpenAI. وكان عدد استدعاءات الأدوات الوسطي 28 في أحدهما و66 في الآخر.
- لم تكن أقل التشغيلات تكلفةً هي الأرخص من حيث إنجاز العمل. بلغت تكلفة تشغيل GLM في Codex نحو 0.22 دولار، و0.93 دولار لكل نجاح. أما في Pi، فبلغت 0.25 دولار للتشغيل و0.43 دولار لكل نجاح.
- اجتاز GLM مهمةً في كلتا المحاولتين 51 مرة في أحد أطر التشغيل و16 مرة في إطار آخر.
- لم يكترث GPT-5.6 Sol وGrok 4.6 كثيرًا بإطار التشغيل الذي استخدماه.
الخلاصة هي أنك إذا اخترت مزيجًا من نموذج وإطار تشغيل استنادًا إلى قائمة ترتيب تقيّم النماذج وحدها، فأنت تتخذ قرارًا مصيريًا بناءً على نصف المعلومات فقط.
https://www.8090.ai/blog/same-model-different-harness?dub_id=5Ux9L6PBuBjhKzi7
كيف يمكن لنموذج أن يحقق 24% و59% في مهام البرمجة الـ113 نفسها؟
يحدث ذلك عندما تغيّر إطار التشغيل المحيط به.
بدأت أتجاهل معظم نتائج قوائم ترتيب النماذج الحديثة. يعود ذلك جزئيًا إلى الإرهاق، وجزئيًا إلى أن التحسن في الترتيب لا ينعكس على العمل الفعلي.
لذلك طلبت من فريق 8090 Labs قياس ما تغفله قوائم الترتيب: أداء النموذج وإطار التشغيل معًا، في إصلاحات أخطاء وميزات حقيقية من مشاريع مفتوحة المصدر.
اختبر 8090 Labs سبعة نماذج عبر خمسة أطر تشغيل.
إليكم بعض النتائج التي لم أتوقعها:
- حقق Claude Fable 5.1 من Anthropic نسبة 41% في Claude Code و61% في Codex من OpenAI. وكان عدد استدعاءات الأدوات الوسطي 28 في أحدهما و66 في الآخر.
- لم تكن أقل التشغيلات تكلفةً هي الأرخص من حيث إنجاز العمل. بلغت تكلفة تشغيل GLM في Codex نحو 0.22 دولار، و0.93 دولار لكل نجاح. أما في Pi، فبلغت 0.25 دولار للتشغيل و0.43 دولار لكل نجاح.
- اجتاز GLM مهمةً في كلتا المحاولتين 51 مرة في أحد أطر التشغيل و16 مرة في إطار آخر.
- لم يكترث GPT-5.6 Sol وGrok 4.6 كثيرًا بإطار التشغيل الذي استخدماه.
الخلاصة هي أنك إذا اخترت مزيجًا من نموذج وإطار تشغيل استنادًا إلى قائمة ترتيب تقيّم النماذج وحدها، فأنت تتخذ قرارًا مصيريًا بناءً على نصف المعلومات فقط.
https://www.8090.ai/blog/same-model-different-harness?dub_id=5Ux9L6PBuBjhKzi7