moe

🚨 $KIMI REDUCE 2.78T PARÁMETROS A 8GB DE RAM — ¡SIN GPU! 💥

🔍 Este experimento open-source desafía cada suposición sobre el escalado de la inferencia. Un proyecto puro en C99 de 176KB ejecuta el conjunto de pesos de 1.56TB de Kimi K3 con solo 8GB de memoria, transmitiendo los pesos de expertos desde el almacenamiento NVMe bajo demanda. 💡

La magia es la activación dispersa MoE — solo 16 de 896 expertos están activos por capa. Así que el desarrollador intercambia el ancho de banda del almacenamiento flash por RAM, tratando el disco como una extensión lenta de la memoria. 📊 El costo es brutal: un token cada 32.7 segundos. No está listo para producción, pero es un plano estructural para infraestructura de inferencia de ultra-bajo costo.

La señal más grande es la dirección. 📉 A medida que los cuellos de botella del hardware obligan a crear ingeniería ingeniosa, la eficiencia se convierte en la próxima narrativa. ¿Estamos construyendo la plomería para la próxima ola de IA descentralizada? 💬

⚠️ No es asesoramiento financiero. Gestiona siempre tu riesgo. 🛡️

🏷️ #KIMI #AI #MoE #OpenSource #Crypto

💡 🔥

Escalera Estelar lanza Step 3.7 Flash: un modelo MoE de 198B parámetros, enfocado en Agentes de nivel producción

Escalera Estelar ha lanzado oficialmente y abierto el código de su nueva generación del modelo Flash Step 3.7, bajo la licencia Apache 2.0. Este modelo utiliza una arquitectura MoE dispersa compuesta por un backbone de lenguaje de 196B + 1.8B de Transformer visual, con un total de 198B de parámetros, activando solo 11B. Soporta contextos de 256K y 3 niveles de inferencia, optimizando Agentes de producción, código, búsqueda en línea y flujos de trabajo multimodales.

¿Por qué es importante? El equipo de IA de China ha logrado un avance significativo en el campo de los modelos MoE multimodales de código abierto, con un diseño de arquitectura de baja activación de parámetros + alta densidad de capacidad, que representa la dirección de la industria hacia inferencias eficientes.

#AI #开源 #大模型 #MoE #inteligenciaartificial

$KIMI K3 CRAMS 2.78T PARAMETERS INTO 8GB RAM — PURE CPU, NO GPU! ⚡

¿Ese script en C99 de 176KB que está haciendo titulares? Transmite los 1.56TB de pesos de Kimi K3 desde NVMe en lugar de mantenerlos en memoria. 🔍 Activación dispersa MoE clásica: solo 16 de 896 expertos por capa se activan realmente. 💡

Es un barrido de liquidez al revés: el sistema tira de los pesos bajo demanda, como un trader que saca órdenes del libro. 🦈 ¿Costo? 32.7 segundos por token. Esto es un prototipo, no producción; el propio desarrollador lo dice.

Pero para los que siguen la IA y las criptomonedas, esto es una brújula. Si la inferencia puede ejecutarse en 8GB con streaming desde disco, los costos computacionales dejan de ser un cuello de botella… y eso cambia el relato. 📊 ¿Qué jugada de infraestructura de IA sube primero a esa ola? 👇

⚠️ No es asesoramiento financiero. Gestiona siempre tu riesgo. 🛡️

🏷️ #KIMI #AI #MoE #Innovation #CryptoAI

🚀 ⚡