moe

Шаги к звездам открытый Step 3.7 Flash: 198B параметров MoE большого модели, нацеленной на производственные агенты

Шаги к звездам официально выпустили и открыли новую генерацию Flash большой модели Step 3.7 Flash, используя лицензию Apache 2.0. Модель состоит из языка с 196B ядром + 1.8B визуальным трансформером в рамках редкого MoE архитектуры с общим количеством параметров 198B, активация всего лишь 11B. Поддерживает 256K контекста и 3 уровня вывода, оптимизированные для производственных агентов, кода, сетевого поиска и многомодальных рабочих процессов.

Почему это важно: китайская AI команда достигла значительного прорыва в области открытых многомодальных MoE больших моделей, низкая активация параметров + высокая плотность возможностей архитектуры представляют собой направление эффективного вывода в индустрии.

#AI #开源 #大模型 #MoE #искусственныйинтеллект