MEITUAN ЗАПУСКАЕТ В КИТАЕ САМУЮ БОЛЬШУЮ AI-МОДЕЛЬ, ОБУЧЕННУЮ НА МЕСТНЫХ ЧИПАХ
- 1,6 трлн параметров · MoE с ~48 млрд активными · 1 млн контекст
- И полный обучающий прогон, и масштабированное развертывание полностью построены на AI ASIC superpods.
- LongCat-2.0 предобучена на более чем 50K AI ASIC (без GPU).
- Для повышения стабильности обучения использовалась библиотека коллективных коммуникаций Huawei (HCCL). HCCL — это система межчиповых коммуникаций, похожая на Nvidia Collective Communication Library (NCCL).
- Конкурирующие модели, такие как DeepSeek-V4-pro, опирались только на отечественные чипы для инференса, тогда как Meituan использовала отечественное оборудование и для инференса, и для крайне ресурсоёмкого этапа предобучения.
- Поскольку отечественные ускорители имеют меньше памяти на устройство, чем Nvidia H800 (80 ГБ), Meituan решает эту задачу в двух направлениях: стратегии параллелизма и управлении памятью.
#Meituan #AI #SupremeCourtBlocksTrumpFromRemovingFedCook
- 1,6 трлн параметров · MoE с ~48 млрд активными · 1 млн контекст
- И полный обучающий прогон, и масштабированное развертывание полностью построены на AI ASIC superpods.
- LongCat-2.0 предобучена на более чем 50K AI ASIC (без GPU).
- Для повышения стабильности обучения использовалась библиотека коллективных коммуникаций Huawei (HCCL). HCCL — это система межчиповых коммуникаций, похожая на Nvidia Collective Communication Library (NCCL).
- Конкурирующие модели, такие как DeepSeek-V4-pro, опирались только на отечественные чипы для инференса, тогда как Meituan использовала отечественное оборудование и для инференса, и для крайне ресурсоёмкого этапа предобучения.
- Поскольку отечественные ускорители имеют меньше памяти на устройство, чем Nvidia H800 (80 ГБ), Meituan решает эту задачу в двух направлениях: стратегии параллелизма и управлении памятью.
#Meituan #AI #SupremeCourtBlocksTrumpFromRemovingFedCook