moe

🚨 $KIMI SCHRUMPFt 2,78B PARAMETER IN 8GB RAM — OHNE GPU! 💥

🔍 Dieses Open-Source-Experiment stellt jede Annahme über Inferenz-Skalierung infrage. Ein reines 176-KB-C99-Projekt bringt Kimi K3s 1,56-TB-Gewichtsset mit nur 8GB Speicher zum Laufen, indem Expert-Gewichte bei Bedarf per Streaming aus dem NVMe-Speicher geladen werden. 💡

Die Magie ist MoE Sparse Activation — pro Schicht sind nur 16 von 896 Experten aktiv. So tauscht der Entwickler Flash-Speicherbandbreite gegen RAM: Die Festplatte wird wie eine langsame Erweiterung des Speichers behandelt. 📊 Der Kompromiss ist brutal: ein Token alle 32,7 Sekunden. Das ist nicht produktionsreif, aber ein strukturelles Blueprint für Ultra-Low-Cost-Inferenz-Infrastruktur.

Das größere Signal ist die Richtung. 📉 Wenn Hardware-Engpässe kreative Ingenieursarbeit erzwingen, wird Effizienz zur nächsten Erzählung. Bauen wir die Leitungen für die nächste Welle dezentraler KI? 💬

⚠️ Keine Finanzberatung. Managen Sie immer Ihr Risiko. 🛡️

🏷️ #KIMI #AI #MoE #OpenSource #Crypto

💡 🔥

Stepping Star veröffentlicht Step 3.7 Flash: 198B Parameter MoE großes Modell, fokussiert auf produktionsfähige Agenten

Stepping Star hat offiziell das neue Flash große Modell Step 3.7 Flash veröffentlicht und Open Source bereitgestellt, unter der Apache 2.0 Lizenz. Das Modell verwendet einen 196B Sprachkern + 1.8B visuelle Transformer, um eine spärliche MoE-Architektur zu bilden, mit insgesamt 198B Parametern und nur 11B aktivierten. Es unterstützt 256K Kontext und 3 Stufen Inferenz, optimiert für produktionsfähige Agenten, Code, vernetzte Suche und multimodale Workflows.

Warum das wichtig ist: Das KI-Team aus China hat im Bereich der Open Source multimodalen MoE großen Modelle einen bedeutenden Durchbruch erzielt, das Design mit niedrigen aktivierten Parametern + hoher Fähigkeitsdichte repräsentiert die industrielle Richtung für effiziente Inferenz.

#AI #开源 #大模型 #MoE #KünstlicheIntelligenz

$KIMI K3 CRAMS 2,78T-PARAMETER IN 8GB RAM — REINE CPU, KEINE GPU! ⚡

Dieser 176-KB C99-Script sorgt für Schlagzeilen? Er streamt Kimi K3s 1,56TB Gewichte von NVMe, statt sie im Speicher zu halten. 🔍 Klassische MoE-Sparse-Aktivierung — nur 16 von 896 Experten pro Layer feuern tatsächlich. 💡

Es ist ein Liquiditäts-„Sweep“ in umgekehrter Richtung: Das System zieht die Gewichte bei Bedarf ab, wie ein Händler Orders aus dem Orderbuch holt. 🦈 Kosten? 32,7 Sekunden pro Token. Das ist ein Prototyp, nicht Produktion — der Entwickler sagt das selbst.

Aber für KI-Krypto-Beobachter ist das ein Kompass. Wenn Inferenz mit 8GB durch Streaming vom Datenträger laufen kann, werden die Compute-Kosten nicht mehr zum Engpass — und das verschiebt die Story. 📊 Welcher AI-Infrastruktur-Play reitet diese Welle zuerst? 👇

⚠️ Keine Finanzberatung. Managemente immer dein Risiko. 🛡️

🏷️ #KIMI #AI #MoE #Innovation #CryptoAI

🚀 ⚡