L’Ascend 950PR de Huawei a atteint, lors de tests, une vitesse de calcul matriciel équivalant à 43 % de celle du H100 de Nvidia. Selon ChainCatcher, le cabinet d’études sur les semi-conducteurs SemiAnalysis a testé 1 055 opérations matricielles couramment utilisées dans les grands modèles d’IA. Le logiciel de bas niveau de Huawei a permis au 950PR d’atteindre 86 % de ses performances de calcul maximales, contre 75,5 % pour le H100. Toutefois, la vitesse réelle du 950PR correspondait à 21 % de celle du B300, plus récent ; le benchmark ne tenait pas compte des opérateurs récemment portés par DeepSeek.

DeepSeek travaille sur des modifications logicielles visant à réduire les transferts de données et les temps d’attente. FlashMLA modifie le stockage des données pour les calculs d’attention, afin que deux ensembles de données qui devaient auparavant être lus séparément puissent être consultés simultanément. TileLang permet à une puce de précharger le lot de données suivant pendant les calculs. SemiAnalysis a constaté que l’ordonnancement automatisé réduisait jusqu’à environ 40 % le temps consacré à certaines petites tâches de calcul. DeepSeek a également porté DeepEP, qui gère les communications entre les modèles à mélange d’experts (MoE), mais les communications et les calculs se disputent toujours la bande passante mémoire. Huawei prévoit d’apporter d’autres améliorations au micrologiciel.

L’année dernière, DeepSeek a tenté d’entraîner R2 sur des puces Ascend de Huawei, mais l’entreprise n’y est pas parvenue, malgré l’assistance sur place d’ingénieurs de Huawei. Les difficultés signalées concernaient la stabilité des puces, les communications entre puces et la prise en charge logicielle. La coopération s’est poursuivie cette année : DeepSeek a publié ouvertement six ensembles de code d’adaptation pour Ascend fin septembre, et des informations parues en octobre indiquaient que Huawei ajustait la conception de sa puce de prochaine génération afin de répondre aux exigences des modèles de DeepSeek.

Le 950PR est principalement conçu pour traiter des données d’entrée destinées à l’inférence. DeepSeek prévoit d’utiliser le 950DT pour le préentraînement à grande échelle dès la fin de l’année. Les deux parties ont effectué des tests à l’échelle de 1 000 puces, mais réaliser sans interruption un cycle complet d’entraînement d’un grand modèle sur des dizaines de milliers de puces nécessitera de résoudre des problèmes de coordination et de stabilité plus complexes.