moe

🚨 $KIMI ENCOLHE 2,78T DE PARÂMETROS PARA 8GB DE RAM — SEM UMA GPU! 💥

🔍 Este experimento open-source desafia cada premissa sobre escalonamento de inferência. Um projeto puro em C99 de 176KB roda o conjunto de pesos de 1,56TB do Kimi K3 usando apenas 8GB de memória, ao fazer streaming dos pesos dos especialistas a partir do armazenamento NVMe sob demanda. 💡

A mágica é a ativação esparsa de MoE — apenas 16 de 896 especialistas ficam ativos por camada. Assim, o desenvolvedor troca a largura de banda de armazenamento flash por RAM, tratando o disco como uma extensão lenta da memória. 📊 A troca é brutal: um token a cada 32,7 segundos. Não é algo pronto para produção, mas é um blueprint estrutural para uma infraestrutura de inferência de custo ultra baixo.

O sinal maior é a direção. 📉 À medida que gargalos de hardware forçam engenharia criativa, a eficiência vira a próxima narrativa. Estamos construindo a infraestrutura para a próxima onda de IA descentralizada? 💬

⚠️ Não é conselho financeiro. Gerencie sempre seu risco. 🛡️

🏷️ #KIMI #AI #MoE #OpenSource #Crypto

💡 🔥

Estrela em Ascensão Lança Step 3.7 Flash: Modelo MoE de 198B Parâmetros, Focado em Agentes de Nível Produtivo

A Estrela em Ascensão acaba de lançar e abrir o código do novo modelo Flash de próxima geração, Step 3.7 Flash, sob a licença Apache 2.0. O modelo utiliza uma arquitetura MoE esparsa composta por um tronco linguístico de 196B + Transformer visual de 1.8B, totalizando 198B de parâmetros, com apenas 11B ativados. Suporta 256K de contexto e 3 níveis de inferência, otimizado para agentes de nível produtivo, código, busca na rede e fluxos de trabalho multimodais.

Por que isso é importante: A equipe de IA da China alcançou um marco significativo na área de modelos MoE multimodais de código aberto, com um design de arquitetura de baixo parâmetro de ativação + alta densidade de capacidade, representando a direção da indústria para inferência eficiente.

#AI #开源 #大模型 #MoE #inteligência artificial

$KIMI K3 CRAVA 2,78T DE PARÂMETROS EM 8GB DE RAM — CPU PURA, SEM GPU! ⚡

Aquele script C99 de 176KB que virou manchete? Ele faz streaming dos 1,56TB de pesos do Kimi K3 a partir do NVMe, em vez de mantê-los na memória. 🔍 Ativação esparsa MoE clássica — apenas 16 de 896 especialistas por camada realmente disparam. 💡

É como uma varredura de liquidez ao contrário: o sistema busca os pesos sob demanda, como um trader puxando ordens do livro. 🦈 Custo? 32,7 segundos por token. Isso é um protótipo, não produção — o dev diz isso ele mesmo.

Mas, para quem acompanha IA-cripto, isso é uma bússola. Se a inferência pode rodar em 8GB com streaming de disco, os custos computacionais deixam de ser o gargalo — e isso muda a narrativa. 📊 Qual aposta em infraestrutura de IA vai surfar essa onda primeiro? 👇

⚠️ Não é aconselhamento financeiro. Gerencie sempre seu risco. 🛡️

🏷️ #KIMI #AI #MoE #Innovation #CryptoAI

🚀 ⚡