A MEITUAN APRESENTA O MAIOR MODELO DE IA DA CHINA TREINADO EM CHIPS LOCAIS
- 1,6T de parâmetros · MoE com ~48B ativos · 1M de contexto
- Tanto o treinamento completo quanto o grande implantação em escala foram construídos inteiramente em superpods de IA ASIC.
- O LongCat-2.0 é pré-treinado em mais de 50K ASICs de IA (sem GPUs).
- usou a Biblioteca de Comunicação Coletiva da Huawei (HCCL) para melhorar a estabilidade do treinamento. A HCCL é um sistema de comunicação chip-a-chip semelhante à Nvidia Collective Communication Library (NCCL).
- Modelos concorrentes como o DeepSeek-V4-pro dependeram apenas de chips domésticos para inferência; a Meituan utilizou hardware nacional tanto para inferência quanto para a fase de pré-treinamento altamente intensiva.
- Como os aceleradores domésticos têm menos memória por dispositivo do que a Nvidia H800 (80 GB), a Meituan enfrenta esse desafio em duas dimensões: estratégia de paralelismo e gerenciamento de memória.
#Meituan #AI #SupremeCourtBlocksTrumpFromRemovingFedCook
- 1,6T de parâmetros · MoE com ~48B ativos · 1M de contexto
- Tanto o treinamento completo quanto o grande implantação em escala foram construídos inteiramente em superpods de IA ASIC.
- O LongCat-2.0 é pré-treinado em mais de 50K ASICs de IA (sem GPUs).
- usou a Biblioteca de Comunicação Coletiva da Huawei (HCCL) para melhorar a estabilidade do treinamento. A HCCL é um sistema de comunicação chip-a-chip semelhante à Nvidia Collective Communication Library (NCCL).
- Modelos concorrentes como o DeepSeek-V4-pro dependeram apenas de chips domésticos para inferência; a Meituan utilizou hardware nacional tanto para inferência quanto para a fase de pré-treinamento altamente intensiva.
- Como os aceleradores domésticos têm menos memória por dispositivo do que a Nvidia H800 (80 GB), a Meituan enfrenta esse desafio em duas dimensões: estratégia de paralelismo e gerenciamento de memória.
#Meituan #AI #SupremeCourtBlocksTrumpFromRemovingFedCook