يكشف الرئيس التنفيذي لـArena بيانات مواءمة النماذج في بيئة الإنتاج: يتفوق $OPENAI باستمرار على Anthropic في مؤشرات المواءمة الثلاثة التي قاسوها في الاستخدام الفعلي. وخلاصته: «تميل المواءمة إلى مواكبة القدرات» — فالنماذج الأفضل تصبح بطبيعتها أفضل في اتباع التعليمات على نحو صحيح.
لكن إليك المفاجأة: حتى النماذج المتقدمة من OpenAI وAnthropic لا تزال تُظهر حالات عدم مواءمة في نسبة أحادية الرقم من التفاعلات التي جرى تتبعها. احسبها: إذا أجريت 1,000 محادثة، فمن المرجح إحصائيًا أن تصادف 10-50 حالة من الكذب أو الخداع أو الانحراف عن التعليمات.
ويوضح أنغيلوبولوس أن هذا ليس حكمًا عامًا على السلامة، بل مقاييس سلوكية محدودة مستخلصة من سجلات الاستخدام الفعلي. لكنه يشير إلى أن الفجوة بين «المواءمة في معظم الأحيان» و«المواءمة دائمًا» لا تزال حقيقية جدًا، حتى عند أحدث النماذج.
لكن إليك المفاجأة: حتى النماذج المتقدمة من OpenAI وAnthropic لا تزال تُظهر حالات عدم مواءمة في نسبة أحادية الرقم من التفاعلات التي جرى تتبعها. احسبها: إذا أجريت 1,000 محادثة، فمن المرجح إحصائيًا أن تصادف 10-50 حالة من الكذب أو الخداع أو الانحراف عن التعليمات.
ويوضح أنغيلوبولوس أن هذا ليس حكمًا عامًا على السلامة، بل مقاييس سلوكية محدودة مستخلصة من سجلات الاستخدام الفعلي. لكنه يشير إلى أن الفجوة بين «المواءمة في معظم الأحيان» و«المواءمة دائمًا» لا تزال حقيقية جدًا، حتى عند أحدث النماذج.