🚨 $KIMI ENCOLHE 2,78T DE PARÂMETROS PARA 8GB DE RAM — SEM UMA GPU! 💥
🔍 Este experimento open-source desafia cada premissa sobre escalonamento de inferência. Um projeto puro em C99 de 176KB roda o conjunto de pesos de 1,56TB do Kimi K3 usando apenas 8GB de memória, ao fazer streaming dos pesos dos especialistas a partir do armazenamento NVMe sob demanda. 💡
A mágica é a ativação esparsa de MoE — apenas 16 de 896 especialistas ficam ativos por camada. Assim, o desenvolvedor troca a largura de banda de armazenamento flash por RAM, tratando o disco como uma extensão lenta da memória. 📊 A troca é brutal: um token a cada 32,7 segundos. Não é algo pronto para produção, mas é um blueprint estrutural para uma infraestrutura de inferência de custo ultra baixo.
O sinal maior é a direção. 📉 À medida que gargalos de hardware forçam engenharia criativa, a eficiência vira a próxima narrativa. Estamos construindo a infraestrutura para a próxima onda de IA descentralizada? 💬
⚠️ Não é conselho financeiro. Gerencie sempre seu risco. 🛡️
🏷️ #KIMI #AI #MoE #OpenSource #Crypto
💡 🔥
🔍 Este experimento open-source desafia cada premissa sobre escalonamento de inferência. Um projeto puro em C99 de 176KB roda o conjunto de pesos de 1,56TB do Kimi K3 usando apenas 8GB de memória, ao fazer streaming dos pesos dos especialistas a partir do armazenamento NVMe sob demanda. 💡
A mágica é a ativação esparsa de MoE — apenas 16 de 896 especialistas ficam ativos por camada. Assim, o desenvolvedor troca a largura de banda de armazenamento flash por RAM, tratando o disco como uma extensão lenta da memória. 📊 A troca é brutal: um token a cada 32,7 segundos. Não é algo pronto para produção, mas é um blueprint estrutural para uma infraestrutura de inferência de custo ultra baixo.
O sinal maior é a direção. 📉 À medida que gargalos de hardware forçam engenharia criativa, a eficiência vira a próxima narrativa. Estamos construindo a infraestrutura para a próxima onda de IA descentralizada? 💬
⚠️ Não é conselho financeiro. Gerencie sempre seu risco. 🛡️
🏷️ #KIMI #AI #MoE #OpenSource #Crypto
💡 🔥