moe

🚨 $KIMI 將 2.78T 參數壓縮進 8GB 內存——而且不需要 GPU！💥

🔍 這個開源實驗挑戰了關於推理擴展性的每一個假設。一個 176KB 的純 C99 項目，通過按需從 NVMe 存儲流式讀取專家權重，在僅 8GB 內存中運行 Kimi K3 的 1.56TB 權重集。💡

“魔法”來自 MoE 稀疏激活——每一層只有 896 名專家中的 16 名被激活。於是開發者用閃存存儲帶寬去交換 RAM，將磁盤視爲內存的一個慢速延伸。📊 代價非常殘酷：每 32.7 秒纔出產 1 個 token。這當然不適合生產，但它是超低成本推理基礎設施的結構性藍圖。

更大的信號在於方向。📉 當硬件瓶頸迫使人們進行更有創意的工程實現時，效率就會成爲下一個敘事。我們是在爲下一波去中心化 AI 搭建“管道”嗎？💬

⚠️ 不是理財建議。請務必管理好你的風險。🛡️

🏷️ #KIMI #AI #MoE #OpenSource #Crypto

💡 🔥

階躍星辰開源Step 3.7 Flash：198B參數MoE大模型，主打生產級Agent

階躍星辰正式發佈並開源新一代Flash大模型Step 3.7 Flash，採用Apache 2.0協議。模型採用196B語言主幹+1.8B視覺Transformer組成的稀疏MoE架構，總參數198B，激活僅11B。支持256K上下文和3檔推理，優化了生產級Agent、代碼、聯網搜索與多模態工作流。

爲什麼重要：中國AI團隊在開源多模態MoE大模型領域實現重要突破，低激活參數+高能力密度的架構設計代表了高效推理的產業方向。

#AI #开源 #大模型 #MoE #人工智能

$KIMI K3 將 2.78T 參數塞進 8GB 內存——純 CPU，無 GPU！⚡

那條引發熱議的 176KB C99 腳本？它會從 NVMe 上按需流式加載 Kimi K3 的 1.56TB 權重，而不是把它們整塊放進內存裏。🔍 經典的 MoE 稀疏激活——每層 896 個專家裏，只有 16 個會真正觸發。💡

這是一場“反向清算”：系統像交易員從訂單簿上拉取訂單一樣，按需抓取權重。🦈 成本？每個 token 32.7 秒。這是原型，不是生產——開發者自己就這麼說的。

但對 AI-加密觀察者來說，這是一枚指南針。如果推理能夠在 8GB 內通過磁盤流式加載運行，那麼計算成本就不再成爲瓶頸——敘事也隨之轉向。📊 哪個 AI 基建賽道最先順着這股浪潮起飛？👇

⚠️ 不是投資建議。請務必管理好你的風險。🛡️

🏷️ #KIMI #AI #MoE #Innovation #CryptoAI

🚀 ⚡