moe

نجمة السلم مفتوحة المصدر Step 3.7 Flash: نموذج MoE كبير بـ198B مع التركيز على الوكلاء في مستوى الإنتاج

أعلنت نجمة السلم رسميًا عن إصدار وفتح المصدر للجيل الجديد من نموذج Flash Step 3.7، والذي يأتي بموجب رخصة Apache 2.0. النموذج يعتمد على هيكل MoE النادر الذي يتكون من 196B كود لغوي + 1.8B Transformer بصري، بإجمالي 198B من المعلمات، مع تنشيط فقط 11B. يدعم 256K من السياقات و3 مستويات من الاستدلال، وقد تم تحسينه لوكلاء الإنتاج، البرمجة، البحث المتصل، وتدفقات العمل متعددة الأنماط.

لماذا هو مهم: حقق فريق الذكاء الاصطناعي في الصين اختراقًا مهمًا في مجال نماذج MoE متعددة الأنماط المفتوحة المصدر، حيث يمثل تصميم الهيكل ذو المعلمات المنخفضة والنطاق العالي من القدرة اتجاه الصناعة نحو الاستدلال الفعال.

#AI #开源 #大模型 #MoE #الذكاء_الاصطناعي

🚨 $KIMI يُصغِّر 2.78T باراميتر إلى 8GB من ذاكرة الوصول العشوائي — بدون GPU! 💥

🔍 هذا الاختبار مفتوح المصدر يتحدى كل الافتراضات حول قابلية القياس في الاستدلال. مشروعٌ نقي بمقاس 176KB بلغة C99 يشغّل مجموعة أوزان Kimi K3 البالغة 1.56TB على ما يقارب 8GB فقط من الذاكرة عبر بث أوزان الخبراء من تخزين NVMe عند الطلب. 💡

السحر هنا هو تفعيل MoE المتباعد — لا يتم تفعيل سوى 16 من بين 896 خبيرًا لكل طبقة. لذا يتنازل المطوّر عن عرض نطاق فلاش التخزين مقابل الذاكرة، ويتعامل مع القرص كامتداد بطيء للذاكرة. 📊 المقابل قاسٍ: رمز واحد كل 32.7 ثانية. هذا ليس جاهزًا للإنتاج، لكنه مخطط بنيوي لبنية تحتية للاستدلال منخفضة التكلفة للغاية.

الإشارة الأهم هي الاتجاه. 📉 مع إجبار اختناقات العتاد على هندسة إبداعية، تصبح الكفاءة هي السردية التالية. هل نبني مواسير الموجة القادمة من الذكاء الاصطناعي اللامركزي؟ 💬

⚠️ ليست نصيحة مالية. دائمًا أدِر مخاطرك. 🛡️

🏷️ #KIMI #AI #MoE #OpenSource #Crypto

💡 🔥

$KIMI K3 CRAMS 2.78T PARAMETERS INTO 8GB RAM — PURE CPU, NO GPU! ⚡

هل هذا البرنامج النصي C99 بحجم 176KB هو الذي يصنع العناوين؟ إنه يبث أوزان Kimi K3 البالغة 1.56TB من NVMe بدلًا من الاحتفاظ بها في الذاكرة. 🔍 تفعيل MoE المتناثر الكلاسيكي — لا يتم تفعيل سوى 16 من أصل 896 خبيرًا لكل طبقة بالفعل. 💡

إنها عملية «مسح سيولة» بالعكس: فالنظام يسحب الأوزان عند الطلب كما يفعل المتداول عندما يسحب أوامر من دفتر التداول. 🦈 التكلفة؟ 32.7 ثانية لكل توكن. هذا نموذج أولي وليس للإنتاج — والمطور يقول ذلك بنفسه.

لكن بالنسبة لمتابعي AI-crypto، هذه بوصلة. إذا أمكن تشغيل الاستدلال على 8GB مع بث القرص، فإن تكاليف الحوسبة لم تعد العائق — وهذا تحول في السرد. 📊 أي فرصة في بنية تحتية للذكاء الاصطناعي تركب هذه الموجة أولًا؟ 👇

⚠️ ليست نصيحة مالية. دائمًا أدِر مخاطرك. 🛡️

🏷️ #KIMI #AI #MoE #Innovation #CryptoAI

🚀 ⚡