moe

نجمة السلم مفتوحة المصدر Step 3.7 Flash: نموذج MoE كبير بـ198B مع التركيز على الوكلاء في مستوى الإنتاج

أعلنت نجمة السلم رسميًا عن إصدار وفتح المصدر للجيل الجديد من نموذج Flash Step 3.7، والذي يأتي بموجب رخصة Apache 2.0. النموذج يعتمد على هيكل MoE النادر الذي يتكون من 196B كود لغوي + 1.8B Transformer بصري، بإجمالي 198B من المعلمات، مع تنشيط فقط 11B. يدعم 256K من السياقات و3 مستويات من الاستدلال، وقد تم تحسينه لوكلاء الإنتاج، البرمجة، البحث المتصل، وتدفقات العمل متعددة الأنماط.

لماذا هو مهم: حقق فريق الذكاء الاصطناعي في الصين اختراقًا مهمًا في مجال نماذج MoE متعددة الأنماط المفتوحة المصدر، حيث يمثل تصميم الهيكل ذو المعلمات المنخفضة والنطاق العالي من القدرة اتجاه الصناعة نحو الاستدلال الفعال.

#AI #开源 #大模型 #MoE #الذكاء_الاصطناعي