moe

🚨 $KIMI SHRINKS 2.78T PARAMETERS INTO 8GB RAM — WITHOUT A GPU! 💥

🔍 This open-source experiment challenges every assumption about inference scaling. A 176KB pure C99 project runs Kimi K3's 1.56TB weight set on just 8GB of memory by streaming expert weights from NVMe storage on demand. 💡

The magic is MoE sparse activation — only 16 of 896 experts are active per layer. So the developer trades flash storage bandwidth for RAM, treating disk like a slow extension of memory. 📊 The tradeoff is brutal: one token every 32.7 seconds. That's not production-ready, but it's a structural blueprint for ultra-low-cost inference infrastructure.

The bigger signal is direction. 📉 As hardware bottlenecks force creative engineering, efficiency becomes the next narrative. Are we building the plumbing for the next wave of decentralized AI? 💬

⚠️ Not financial advice. Always manage your risk. 🛡️

🏷️ #KIMI #AI #MoE #OpenSource #Crypto

💡 🔥

Addım Ulduzları açıq mənbə Step 3.7 Flash: 198B parametrləri ilə MoE böyük modeli, istehsal səviyyəli Agentə yönəlib

Addım Ulduzları rəsmi olaraq yeni nəsil Flash böyük modelini Step 3.7 Flash olaraq təqdim etdi və açıq mənbə etdi, Apache 2.0 lisenziyası altında. Model 196B dil əsaslı + 1.8B vizual Transformer-dən ibarət səpələnmiş MoE arxitekturasını istifadə edir, ümumi parametrlər 198B, aktivləşdirmə yalnız 11B-dir. 256K konteksti və 3 səviyyə irəliləmə dəstəkləyir, istehsal səviyyəli Agent, kod, onlayn axtarış və multimodal iş axınlarını optimallaşdırmışdır.

Niyə əhəmiyyətlidir: Çin AI komandası açıq mənbə multimodal MoE böyük modeli sahəsində əhəmiyyətli irəliləyiş əldə edib, aşağı aktivləşdirmə parametrləri + yüksək qabiliyyət sıxlığı arxitektura dizaynı effektiv irəliləmənin sənaye istiqamətini təmsil edir.

#AI #开源 #大模型 #MoE #süni zəka

$KIMI K3 2.78T PARAMETRLƏRİ 8GB YADDAŞA YIĞIR — TAM MƏRKƏZİ PROSESSOR, GPU YOX! ⚡

Başlıqlara düşən o 176KB-lıq C99 skripti? Kimi K3-ün 1.56TB çəkilərini yaddaşda saxlamır — NVMe-dən axıtır. 🔍 Klassik MoE sparse aktivləşmə — hər qat üçün 896 ekspertdən yalnız 16-sı həqiqətən işə düşür. 💡

Bu, tərsinə çevrilmiş likvidlik ovudur: sistem ağırlqları ehtiyac duyduqda bir treyderin sifarişləri kitaba salması kimi “çağırır”. 🦈 Qiymət? Hər token üçün 32.7 saniyə. Bu, prototipdir — istehsal deyil; dev bunu özü deyir.

Amma AI-kripto izləyiciləri üçün bu, kompasdır. Əgər disk axını ilə 8GB-da inferens işləyə bilirsə, hesablama xərcləri darğa kimi önəmli olmur — və bu, narrativ dəyişikliyidir. 📊 Hansı AI infrastrukturu bu dalğanı ilk gəmiyə çevirər? 👇

⚠️ Maliyyə məsləhəti deyil. Həmişə riskinizi idarə edin. 🛡️

🏷️ #KIMI #AI #MoE #Innovation #CryptoAI

🚀 ⚡