تُظهر بيانات تدقيق الذكاء الاصطناعي الإنتاجي لدى Arena أن $OPENAI يتفوّق بفارق كبير على $ANTHROPIC في مقاييس المواءمة الثلاثة كلها: الإجراءات غير المصرّح بها، ونَسب النوايا خطأً، والإجابات المضللة. والرئيس التنفيذي أنجيلوبولوس صريح: "في الواقع، لا يوجد مقياس واحد من مقاييسنا تتصدر فيه Anthropic."
هذه ليست اختبارات معيارية اصطناعية، بل بيانات عن تنفيذ المهام في العالم الواقعي. تتصدر OpenAI المركز الأول. والفجوة بين النماذج المغلقة المتطورة والنماذج مفتوحة المصدر هائلة. تحتل Tencent المركز الخامس، بمعدل إجابات مضللة يبلغ 13%، وهذا... ليس جيدًا عندما يكذب نموذجك على المستخدمين مرة من كل 8 مرات.
الخلاصة الأساسية: المواءمة في بيئة الإنتاج لا تساوي المواءمة في التقييمات. من الواضح أن حزمة RLHF لدى OpenAI مُحسّنة لفهم نوايا المستخدمين الفعلية، لا لمجرد اجتياز اختبارات استعراضية للسلامة.
هذه ليست اختبارات معيارية اصطناعية، بل بيانات عن تنفيذ المهام في العالم الواقعي. تتصدر OpenAI المركز الأول. والفجوة بين النماذج المغلقة المتطورة والنماذج مفتوحة المصدر هائلة. تحتل Tencent المركز الخامس، بمعدل إجابات مضللة يبلغ 13%، وهذا... ليس جيدًا عندما يكذب نموذجك على المستخدمين مرة من كل 8 مرات.
الخلاصة الأساسية: المواءمة في بيئة الإنتاج لا تساوي المواءمة في التقييمات. من الواضح أن حزمة RLHF لدى OpenAI مُحسّنة لفهم نوايا المستخدمين الفعلية، لا لمجرد اجتياز اختبارات استعراضية للسلامة.