MEITUAN LANCE LE PLUS GRAND MODÈLE D’IA DE CHINE ENTIÈREMENT ENTRAÎNÉ SUR DES PUCE LOCALES
- 1,6T de paramètres · MoE avec ~48B d’actifs · 1M de contexte
- L’ensemble de l’entraînement complet et le déploiement à grande échelle reposent entièrement sur des superpods d’ASICs d’IA.
- LongCat-2.0 est pré-entraîné sur plus de 50K ASICs d’IA (sans GPU).
- il a utilisé la bibliothèque de communication collective Huawei (HCCL) pour améliorer la stabilité de l’entraînement. HCCL est un système de communication puce-à-puce similaire à la bibliothèque de communication collective Nvidia (NCCL).
- Des modèles concurrents comme DeepSeek-V4-pro s’appuyaient sur des puces nationales uniquement pour l’inférence ; Meituan a utilisé du matériel national à la fois pour l’inférence et pour la phase de pré-entraînement hautement intensive.
- Étant donné que les accélérateurs domestiques disposent de moins de mémoire par appareil que l’Nvidia H800 (80 Go), Meituan relève ce défi sur deux axes : la stratégie de parallélisme et la gestion de la mémoire.
#Meituan #AI #SupremeCourtBlocksTrumpFromRemovingFedCook
- 1,6T de paramètres · MoE avec ~48B d’actifs · 1M de contexte
- L’ensemble de l’entraînement complet et le déploiement à grande échelle reposent entièrement sur des superpods d’ASICs d’IA.
- LongCat-2.0 est pré-entraîné sur plus de 50K ASICs d’IA (sans GPU).
- il a utilisé la bibliothèque de communication collective Huawei (HCCL) pour améliorer la stabilité de l’entraînement. HCCL est un système de communication puce-à-puce similaire à la bibliothèque de communication collective Nvidia (NCCL).
- Des modèles concurrents comme DeepSeek-V4-pro s’appuyaient sur des puces nationales uniquement pour l’inférence ; Meituan a utilisé du matériel national à la fois pour l’inférence et pour la phase de pré-entraînement hautement intensive.
- Étant donné que les accélérateurs domestiques disposent de moins de mémoire par appareil que l’Nvidia H800 (80 Go), Meituan relève ce défi sur deux axes : la stratégie de parallélisme et la gestion de la mémoire.
#Meituan #AI #SupremeCourtBlocksTrumpFromRemovingFedCook
