moe

🚨 $KIMI ຊຸກຫຍຸ້ນລົງ 2.78T PARAMETERS ໃຫ້ເຫຼືອ 8GB RAM — ໂດຍບໍ່ໃຊ້ GPU! 💥

🔍 ການທົດລອງ Open-source ນີ້ທ້າທາຍທຸກຄວາມຄິດຖານກ່ຽວກັບການຂະຫຍາຍ inference. ໂປຣເຈັກຊັນ C99 ພິເສດ 176KB ແບບບໍລິສຸດ ສາມາດໃຊ້ນ້ຳໜັກຊຸດ 1.56TB ຂອງ Kimi K3 ໄດ້ດ້ວຍພຽງ 8GB ຜ່ານການ streaming expert weights ຈາກ NVMe ຕາມຄວາມຕ້ອງການ. 💡

ຄວາມຈິນຕະນາການແມ່ນ MoE sparse activation — ພຽງ 16 ຈາກ 896 experts ທີ່ຖືກເປີດໃຊ້ຕໍ່ແຕ່ລະ layer. ສະນັ້ນນັກພັດທະນາຍອມແລກ flash storage bandwidth ແທນ RAM, ປະຕິບັດໃຫ້ໄດ້ດິສຄ໌ຄືການຂະຫຍາຍ memory ທີ່ຊ້າ. 📊 ການແລກແມ່ນແຮງຫຼາຍ: ໜຶ່ງ token ໃນ 32.7 ວິນາທີ. ນັ້ນບໍ່ພ້ອມໃຊ້ໃນ production, ແຕ່ເປັນແຜນຜັງຂອງໂຄງສ້າງສໍາລັບ inference ທີ່ລາຄາຕໍ່າຫຼາຍ.

ສັນຍານທີ່ຊັດກວ່າກໍຄືທິດທາງ. 📉 ເມື່ອຂໍ້ຈໍາກັດຂອງ hardware ບັງຄັບໃຫ້ອອກແບບແບບຄິດສ້າງ, ຄວາມມີປະສິດທິພາບຈະກາຍເປັນເລື່ອງເລົ່າຕໍ່ໄປ. ພວກເຮົາກໍາລັງສ້າງທໍ່ປະປາໃຫ້ກັບຄືນຂອງ decentralized AI ຄັ້ງຕໍ່ໄປບໍ? 💬

⚠️ ບໍ່ແມ່ນຄໍາແນະນໍາດ້ານການເງິນ. ຈົ່ງຈັດການຄວາມສ່ຽງຂອງທ່ານສະເໝີ. 🛡️

🏷️ #KIMI #AI #MoE #OpenSource #Crypto

💡 🔥

阶跃星辰开源Step 3.7 Flash：198B参数MoE大模型，主打生产级Agent

阶跃星辰正式发布并开源新一代Flash大模型Step 3.7 Flash，采用Apache 2.0协议。模型采用196B语言主干+1.8B视觉Transformer组成的稀疏MoE架构，总参数198B，激活仅11B。支持256K上下文和3档推理，优化了生产级Agent、代码、联网搜索与多模态工作流。

为什么重要：中国AI团队在开源多模态MoE大模型领域实现重要突破，低激活参数+高能力密度的架构设计代表了高效推理的产业方向。

#AI #开源 #大模型 #MoE #人工智能

$KIMI K3 CRAMS 2.78T PARAMETERS INTO 8GB RAM — PURE CPU, NO GPU! ⚡

That 176KB C99 script making headlines? It streams Kimi K3's 1.56TB of weights off NVMe instead of holding them in memory. 🔍 Classic MoE sparse activation — only 16 of 896 experts per layer actually fire. 💡

It's a liquidity sweep in reverse: the system pulls weights on demand like a trader pulling orders off the book. 🦈 Cost? 32.7 seconds per token. That's a prototype, not production — the dev says so himself.

But for AI-crypto watchers, this is a compass. If inference can run on 8GB with disk streaming, compute costs stop being a bottleneck — and that's a narrative shift. 📊 Which AI infrastructure play rides that wave first? 👇

⚠️ Not financial advice. Always manage your risk. 🛡️

🏷️ #KIMI #AI #MoE #Innovation #CryptoAI

🚀 ⚡