🚨 $KIMI COMPRESSE 2,78 T PARAMÈTRES DANS 8 GO DE RAM — SANS GPU ! 💥

🔍 Cette expérience open-source remet en question toutes les hypothèses sur le passage à l’échelle de l’inférence. Un projet pur C99 de 176 Ko exécute l’ensemble de poids de 1,56 To de Kimi K3 avec seulement 8 Go de mémoire en diffusant à la demande les poids d’experts depuis le stockage NVMe. 💡

La magie vient de l’activation clairsemée de MoE : seulement 16 des 896 experts sont actifs par couche. Le développeur fait donc un compromis : il échange la bande passante du stockage flash contre de la RAM, en traitant le disque comme une extension lente de la mémoire. 📊 Le revers est brutal : un token toutes les 32,7 secondes. Ce n’est pas prêt pour la production, mais c’est un plan structurel pour une infrastructure d’inférence à ultra faible coût.

Le signal le plus important, c’est la direction. 📉 À mesure que les goulots d’étranglement matériels forcent une ingénierie créative, l’efficacité devient le prochain récit. Est-ce qu’on construit la tuyauterie pour la prochaine vague d’IA décentralisée ? 💬

⚠️ Ceci n’est pas un conseil financier. Gérez toujours votre risque. 🛡️

🏷️ #KIMI #AI #MoE #OpenSource #Crypto

💡 🔥