moe

🚨 $KIMI УМЕЩАЕТ 2,78T ПАРАМЕТРОВ В 8 ГБ ОЗУ — БЕЗ GPU! 💥

🔍 Этот эксперимент с открытым исходным кодом бросает вызов каждому предположению о масштабировании инференса. Проект на чистом C99 размером 176 КБ запускает набор весов Kimi K3 в 1,56 ТБ, используя всего 8 ГБ памяти за счёт потоковой подгрузки весов экспертных моделей со хранения NVMe по запросу. 💡

Магия — в разреженной активации MoE: на каждом слое активны лишь 16 из 896 экспертов. То есть разработчик меняет пропускную способность флеш‑памяти на ОЗУ, рассматривая диск как медленное продолжение памяти. 📊 Компромисс жёсткий: один токен каждые 32,7 секунды. Это не подходит для продакшена, но даёт структурный чертёж для инфраструктуры инференса с ультра-низкой стоимостью.

Главный сигнал — в направлении. 📉 Когда аппаратные ограничения заставляют искать креативные инженерные решения, эффективность становится следующей историей. Мы строим коммуникации для следующей волны децентрализованного ИИ? 💬

⚠️ Это не финансовая рекомендация. Всегда управляйте своим риском. 🛡️

🏷️ #KIMI #AI #MoE #OpenSource #Crypto

💡 🔥

Шаги к звездам открытый Step 3.7 Flash: 198B параметров MoE большого модели, нацеленной на производственные агенты

Шаги к звездам официально выпустили и открыли новую генерацию Flash большой модели Step 3.7 Flash, используя лицензию Apache 2.0. Модель состоит из языка с 196B ядром + 1.8B визуальным трансформером в рамках редкого MoE архитектуры с общим количеством параметров 198B, активация всего лишь 11B. Поддерживает 256K контекста и 3 уровня вывода, оптимизированные для производственных агентов, кода, сетевого поиска и многомодальных рабочих процессов.

Почему это важно: китайская AI команда достигла значительного прорыва в области открытых многомодальных MoE больших моделей, низкая активация параметров + высокая плотность возможностей архитектуры представляют собой направление эффективного вывода в индустрии.

#AI #开源 #大模型 #MoE #искусственныйинтеллект

$KIMI K3 CRAMS 2.78T PARAMETERS INTO 8GB RAM — PURE CPU, NO GPU! ⚡

Тот самый 176-килобайтный скрипт на C99, о котором трубят в новостях? Он стримит веса Kimi K3 объёмом 1.56 ТБ с NVMe, а не держит их в памяти. 🔍 Классическая разрежённая активация MoE — на слой реально срабатывают только 16 из 896 экспертов. 💡

Это «ликвидный рейд» в обратную сторону: система подтягивает веса по требованию, как трейдер снимает заявки с книги. 🦈 Цена? 32,7 секунды на токен. Это прототип, а не продукт — разработчик сам так и говорит.

Но для наблюдателей за связкой ИИ и крипто это компас. Если инференс можно запускать на 8 ГБ с потоковой подгрузкой с диска, то вычислительные затраты перестают быть узким местом — и меняется нарратив. 📊 Какая игра в инфраструктуру ИИ первой оседлает эту волну? 👇

⚠️ Не является финансовой рекомендацией. Всегда управляйте своим риском. 🛡️

🏷️ #KIMI #AI #MoE #Innovation #CryptoAI

🚀 ⚡