يُحسّن خطوةً بخطوة: Kimi K3 صدر للتو — 28.000 مليار معلمة، سياق حتى 1 مليون، وتعدد وسائط أصلي
ثلاثة اختبارات داخلية (benchmark) تتفوّق بالكامل على Claude Opus 4.8 وGPT-5.5: Online Exp 75.5، DECK-Bench 73.5، Finance-Bench 62.6.
على مستوى البنية يوجد تحديثان رئيسيان: Kimi Delta Attention (KDA) يحقق أعلى تحسّن في سرعة فك الترميز ضمن سياق المليون Token بواقع 6.3 أضعاف؛ وAttention Residuals (AttnRes) ترفع كفاءة التدريب بنحو 25% مع كلفة إضافية أقل من 2%. كما تم توسيع MoE إلى 896 خبيرًا مع تفعيل 16 فقط، لتصبح كفاءة التوسّع الإجمالية أعلى بنحو 2.5 مرة مقارنةً بـ K2.
الأكثر جدارة بالتركيز هو القدرة على التطور الذاتي: استغرق K3 15 ساعة من التطوير التكراري المتواصل ليصمّم خوارزمية جديدة من مرحلتين (two-stage kernel)، بحيث انخفض زمن forward + backward لـ AttnRes من 283.6ms إلى 114.4ms — دون تغيير في القيم، لكن السرعة تضاعفت. النموذج يُحسّن تدريبه بنفسه.
تم إطلاق K3 على Kimi Work وKimi Code وواجهة API، وسيتم إتاحة الأوزان قبل 27 يوليو.
عندما يبدأ النموذج في تحسين نواة (kernel) تدريبه، سيتعيّن ترقية سردية: "الذكاء الاصطناعي يساعد البشر في كتابة الأكواد" — الخطوة التالية هي: "الذكاء الاصطناعي يساعد الذكاء الاصطناعي في كتابة الأكواد بشكل أسرع".
#Kimi #K3 #AI
ثلاثة اختبارات داخلية (benchmark) تتفوّق بالكامل على Claude Opus 4.8 وGPT-5.5: Online Exp 75.5، DECK-Bench 73.5، Finance-Bench 62.6.
على مستوى البنية يوجد تحديثان رئيسيان: Kimi Delta Attention (KDA) يحقق أعلى تحسّن في سرعة فك الترميز ضمن سياق المليون Token بواقع 6.3 أضعاف؛ وAttention Residuals (AttnRes) ترفع كفاءة التدريب بنحو 25% مع كلفة إضافية أقل من 2%. كما تم توسيع MoE إلى 896 خبيرًا مع تفعيل 16 فقط، لتصبح كفاءة التوسّع الإجمالية أعلى بنحو 2.5 مرة مقارنةً بـ K2.
الأكثر جدارة بالتركيز هو القدرة على التطور الذاتي: استغرق K3 15 ساعة من التطوير التكراري المتواصل ليصمّم خوارزمية جديدة من مرحلتين (two-stage kernel)، بحيث انخفض زمن forward + backward لـ AttnRes من 283.6ms إلى 114.4ms — دون تغيير في القيم، لكن السرعة تضاعفت. النموذج يُحسّن تدريبه بنفسه.
تم إطلاق K3 على Kimi Work وKimi Code وواجهة API، وسيتم إتاحة الأوزان قبل 27 يوليو.
عندما يبدأ النموذج في تحسين نواة (kernel) تدريبه، سيتعيّن ترقية سردية: "الذكاء الاصطناعي يساعد البشر في كتابة الأكواد" — الخطوة التالية هي: "الذكاء الاصطناعي يساعد الذكاء الاصطناعي في كتابة الأكواد بشكل أسرع".
#Kimi #K3 #AI