moe

🚨 $KIMI SHRINKS 2.78T PARAMETERS INTO 8GB RAM — WITHOUT A GPU! 💥

🔍 This open-source experiment challenges every assumption about inference scaling. A 176KB pure C99 project runs Kimi K3's 1.56TB weight set on just 8GB of memory by streaming expert weights from NVMe storage on demand. 💡

The magic is MoE sparse activation — only 16 of 896 experts are active per layer. So the developer trades flash storage bandwidth for RAM, treating disk like a slow extension of memory. 📊 The tradeoff is brutal: one token every 32.7 seconds. That's not production-ready, but it's a structural blueprint for ultra-low-cost inference infrastructure.

The bigger signal is direction. 📉 As hardware bottlenecks force creative engineering, efficiency becomes the next narrative. Are we building the plumbing for the next wave of decentralized AI? 💬

⚠️ Not financial advice. Always manage your risk. 🛡️

🏷️ #KIMI #AI #MoE #OpenSource #Crypto

💡 🔥

ステップ星辰がオープンソースの新世代フラッシュモデルStep 3.7フラッシュを正式にリリース。Apache 2.0ライセンスを採用。モデルは196Bの言語バックボーンと1.8Bの視覚トランスフォーマーからなるスパースMoEアーキテクチャを使用し、総パラメータは198B、アクティベーションはわずか11B。256Kのコンテキストと3段階の推論をサポートし、プロダクションレベルのエージェント、コード、オンライン検索、マルチモーダルワークフローを最適化。

なぜ重要か：中国のAIチームはオープンソースのマルチモーダルMoE大モデル分野で重要なブレイクスルーを達成。低アクティベーションパラメータと高能力密度のアーキテクチャ設計は、効率的な推論の産業方向性を示している。

#AI #开源 #大模型 #MoE #人工知能

$KIMI K3 8GB RAM に 2.78T パラメータを詰め込む — GPUなし、純CPU！⚡

話題をさらっている 176KB の C99 スクリプト？メモリに保持するのではなく、NVMe から Kimi K3 の 1.56TB 分の重みをストリーミングします。🔍 典型的な MoE（Mixture of Experts）のスパース活性化で、各レイヤーの 896 エキスパートのうち実際に発火するのは 16 だけ。💡

これは逆方向の流動性スイープです。システムが“注文書”から取引するかのように、必要に応じて重みを引っ張ってくる。🦈 コストは 1 トークンあたり 32.7 秒。これはプロトタイプであって、本番運用ではない──開発者本人がそう言っています。

しかし AI×クリプトを追う人にとっては羅針盤になる。ディスク・ストリーミングで 8GB でも推論できるなら、計算コストがボトルネックでなくなる──そして物語が変わる。📊 では、この波に最初に乗る AI インフラのプレイはどれ？👇

⚠️ 金融アドバイスではありません。常にリスクを管理してください。🛡️

🏷️ #KIMI #AI #MoE #Innovation #CryptoAI

🚀 ⚡