moe

🚨 $KIMI COMPRESSE 2,78 T PARAMÈTRES DANS 8 GO DE RAM — SANS GPU ! 💥

🔍 Cette expérience open-source remet en question toutes les hypothèses sur le passage à l’échelle de l’inférence. Un projet pur C99 de 176 Ko exécute l’ensemble de poids de 1,56 To de Kimi K3 avec seulement 8 Go de mémoire en diffusant à la demande les poids d’experts depuis le stockage NVMe. 💡

La magie vient de l’activation clairsemée de MoE : seulement 16 des 896 experts sont actifs par couche. Le développeur fait donc un compromis : il échange la bande passante du stockage flash contre de la RAM, en traitant le disque comme une extension lente de la mémoire. 📊 Le revers est brutal : un token toutes les 32,7 secondes. Ce n’est pas prêt pour la production, mais c’est un plan structurel pour une infrastructure d’inférence à ultra faible coût.

Le signal le plus important, c’est la direction. 📉 À mesure que les goulots d’étranglement matériels forcent une ingénierie créative, l’efficacité devient le prochain récit. Est-ce qu’on construit la tuyauterie pour la prochaine vague d’IA décentralisée ? 💬

⚠️ Ceci n’est pas un conseil financier. Gérez toujours votre risque. 🛡️

🏷️ #KIMI #AI #MoE #OpenSource #Crypto

💡 🔥

Étape 3.7 Flash de Jump Star : Modèle MoE à 198B paramètres, axé sur les Agents de niveau production

Jump Star a officiellement lancé et open source son nouveau modèle Flash de génération Step 3.7, sous licence Apache 2.0. Le modèle utilise une architecture MoE éparse composée d'un noyau linguistique de 196B + un Transformer visuel de 1.8B, totalisant 198B de paramètres, avec seulement 11B activés. Il prend en charge un contexte de 256K et 3 niveaux d'inférence, optimisant les Agents de niveau production, le code, la recherche en ligne et les workflows multimodaux.

Pourquoi c'est important : L'équipe AI de Chine a réalisé une percée importante dans le domaine des modèles MoE multimodaux open source, avec une conception d'architecture à faible activation et haute densité de capacité qui représente la direction industrielle pour une inférence efficace.

#AI #开源 #大模型 #MoE #intelligenceartificielle

$KIMI K3 CRAMME 2,78T DE PARAMÈTRES DANS 8 GO DE RAM — CPU PUR, PAS DE GPU ! ⚡

Ce script C99 de 176 Ko qui fait les gros titres ? Il diffuse en direct les 1,56 To de poids de Kimi K3 depuis le NVMe, au lieu de les garder en mémoire. 🔍 Activation clairsemée classique de type MoE — seulement 16 des 896 experts par couche s’activent réellement. 💡

C’est un balayage de liquidité à l’envers : le système récupère les poids à la demande, comme un trader qui retire des ordres du carnet. 🦈 Coût ? 32,7 secondes par token. C’est un prototype, pas une mise en production — le développeur le dit lui-même.

Mais pour les observateurs d’IA-crypto, c’est une boussole. Si l’inférence peut tourner sur 8 Go avec un streaming depuis le disque, les coûts de calcul cessent d’être un goulot d’étranglement — et c’est un changement de narration. 📊 Quel acteur de l’infrastructure IA chevauche cette vague en premier ? 👇

⚠️ Ceci ne constitue pas un conseil financier. Gérez toujours votre risque. 🛡️

🏷️ #KIMI #AI #MoE #Innovation #CryptoAI

🚀 ⚡