moe

🚨 $KIMI SHRINKS 2.78T PARAMETERS INTO 8GB RAM — WITHOUT A GPU! 💥

🔍 This open-source experiment challenges every assumption about inference scaling. A 176KB pure C99 project runs Kimi K3's 1.56TB weight set on just 8GB of memory by streaming expert weights from NVMe storage on demand. 💡

The magic is MoE sparse activation — only 16 of 896 experts are active per layer. So the developer trades flash storage bandwidth for RAM, treating disk like a slow extension of memory. 📊 The tradeoff is brutal: one token every 32.7 seconds. That's not production-ready, but it's a structural blueprint for ultra-low-cost inference infrastructure.

The bigger signal is direction. 📉 As hardware bottlenecks force creative engineering, efficiency becomes the next narrative. Are we building the plumbing for the next wave of decentralized AI? 💬

⚠️ Not financial advice. Always manage your risk. 🛡️

🏷️ #KIMI #AI #MoE #OpenSource #Crypto

💡 🔥

Langkah Bintang Terang Rilis Step 3.7 Flash: Model MoE 198B Parameter, Fokus pada Agent Level Produksi

Langkah Bintang Terang resmi merilis dan mengopen-source model besar generasi baru Step 3.7 Flash, menggunakan lisensi Apache 2.0. Model ini mengadopsi arsitektur MoE yang jarang dengan tulang punggung bahasa 196B + Transformer visual 1.8B, total parameter 198B, dengan aktivasi hanya 11B. Mendukung konteks 256K dan 3 level inferensi, dioptimalkan untuk Agent level produksi, kode, pencarian online, dan alur kerja multimodal.

Kenapa penting: Tim AI Indonesia telah mencapai terobosan penting di bidang open-source model MoE multimodal, desain arsitektur dengan parameter aktivasi rendah + kepadatan kemampuan tinggi mewakili arah industri untuk inferensi efisien.

#AI #开源 #大模型 #MoE #KecerdasanBuatan

$KIMI K3 CRAMS 2.78T PARAMETERS KE DALAM 8GB RAM — CPU MURNI, TANPA GPU! ⚡

Script C99 176KB yang lagi jadi headline itu? Ia melakukan streaming bobot Kimi K3 1.56TB dari NVMe, bukannya menyimpannya di memori. 🔍 MoE sparse aktivasi klasik — hanya 16 dari 896 ahli per layer yang benar-benar aktif. 💡

Ini semacam sweep likuiditas versi terbalik: sistem menarik bobot sesuai kebutuhan, seperti trader yang mengambil order dari papan. 🦈 Biaya? 32,7 detik per token. Ini prototipe, bukan produksi — si developer bahkan bilang begitu.

Tapi untuk pengamat AI-crypto, ini seperti kompas. Jika inferensi bisa berjalan di 8GB dengan streaming dari disk, biaya komputasi tidak lagi jadi hambatan — dan itu mengubah narasi. 📊 Perusahaan infrastruktur AI mana yang pertama memanfaatkan gelombang itu? 👇

⚠️ Bukan nasihat keuangan. Selalu kelola risiko kamu. 🛡️

🏷️ #KIMI #AI #MoE #Innovation #CryptoAI

🚀 ⚡