moe

🚨 $KIMI SHRINKS 2.78T PARAMETERS INTO 8GB RAM — WITHOUT A GPU! 💥

🔍 This open-source experiment challenges every assumption about inference scaling. A 176KB pure C99 project runs Kimi K3's 1.56TB weight set on just 8GB of memory by streaming expert weights from NVMe storage on demand. 💡

The magic is MoE sparse activation — only 16 of 896 experts are active per layer. So the developer trades flash storage bandwidth for RAM, treating disk like a slow extension of memory. 📊 The tradeoff is brutal: one token every 32.7 seconds. That's not production-ready, but it's a structural blueprint for ultra-low-cost inference infrastructure.

The bigger signal is direction. 📉 As hardware bottlenecks force creative engineering, efficiency becomes the next narrative. Are we building the plumbing for the next wave of decentralized AI? 💬

⚠️ Not financial advice. Always manage your risk. 🛡️

🏷️ #KIMI #AI #MoE #OpenSource #Crypto

💡 🔥

Étape 3.7 Flash de Jump Star : Modèle MoE à 198B paramètres, axé sur les Agents de niveau production

Jump Star a officiellement lancé et open source son nouveau modèle Flash de génération Step 3.7, sous licence Apache 2.0. Le modèle utilise une architecture MoE éparse composée d'un noyau linguistique de 196B + un Transformer visuel de 1.8B, totalisant 198B de paramètres, avec seulement 11B activés. Il prend en charge un contexte de 256K et 3 niveaux d'inférence, optimisant les Agents de niveau production, le code, la recherche en ligne et les workflows multimodaux.

Pourquoi c'est important : L'équipe AI de Chine a réalisé une percée importante dans le domaine des modèles MoE multimodaux open source, avec une conception d'architecture à faible activation et haute densité de capacité qui représente la direction industrielle pour une inférence efficace.

#AI #开源 #大模型 #MoE #intelligenceartificielle

$KIMI K3 CRAMME 2,78T DE PARAMÈTRES DANS 8 GO DE RAM — CPU PUR, PAS DE GPU ! ⚡

Ce script C99 de 176 Ko qui fait les gros titres ? Il diffuse en direct les 1,56 To de poids de Kimi K3 depuis le NVMe, au lieu de les garder en mémoire. 🔍 Activation clairsemée classique de type MoE — seulement 16 des 896 experts par couche s’activent réellement. 💡

C’est un balayage de liquidité à l’envers : le système récupère les poids à la demande, comme un trader qui retire des ordres du carnet. 🦈 Coût ? 32,7 secondes par token. C’est un prototype, pas une mise en production — le développeur le dit lui-même.

Mais pour les observateurs d’IA-crypto, c’est une boussole. Si l’inférence peut tourner sur 8 Go avec un streaming depuis le disque, les coûts de calcul cessent d’être un goulot d’étranglement — et c’est un changement de narration. 📊 Quel acteur de l’infrastructure IA chevauche cette vague en premier ? 👇

⚠️ Ceci ne constitue pas un conseil financier. Gérez toujours votre risque. 🛡️

🏷️ #KIMI #AI #MoE #Innovation #CryptoAI

🚀 ⚡