O Ascend 950PR da Huawei atingiu, em testes, velocidades de computação matricial equivalentes a 43% das do H100 da Nvidia. Segundo o ChainCatcher, a empresa de pesquisa de semicondutores SemiAnalysis testou 1.055 operações matriciais comumente usadas em grandes modelos de IA. O software de baixo nível da Huawei permitiu que o 950PR alcançasse 86% de seu desempenho computacional máximo, em comparação com 75,5% no caso do H100. No entanto, a velocidade real do 950PR correspondeu a 21% da do B300, mais recente; o benchmark não incluiu operadores portados recentemente pela DeepSeek.
A DeepSeek está trabalhando em mudanças de software para reduzir as transferências de dados e os tempos de espera. O FlashMLA altera o armazenamento de dados para cálculos de atenção, permitindo acessar em conjunto dois conjuntos de dados que antes precisavam ser lidos separadamente. O TileLang permite que um chip pré-carregue o próximo lote de dados enquanto realiza cálculos. A SemiAnalysis constatou que o agendamento automatizado reduziu em até cerca de 40% o tempo de algumas tarefas de computação pequenas. A DeepSeek também portou o DeepEP, que gerencia a comunicação entre modelos de mistura de especialistas (MoE), mas a comunicação e a computação ainda disputam a largura de banda da memória. A Huawei planeja novas melhorias de firmware.
No ano passado, a DeepSeek tentou treinar o R2 em chips Ascend da Huawei, mas a iniciativa não teve sucesso, apesar da assistência presencial de engenheiros da Huawei. Os desafios relatados envolviam a estabilidade dos chips, a comunicação entre eles e o suporte de software. A cooperação continuou neste ano: no fim de setembro, a DeepSeek lançou publicamente seis conjuntos de códigos de adaptação para Ascend, e notícias de outubro informaram que a Huawei estava ajustando o projeto de seu chip de próxima geração para atender aos requisitos dos modelos da DeepSeek.
O 950PR foi concebido principalmente para processar entradas de inferência. A DeepSeek planeja usar o 950DT para pré-treinamento em grande escala já no fim do ano. As duas partes realizaram testes com 1.000 chips, mas executar continuamente um ciclo completo de treinamento de um modelo grande em dezenas de milhares de chips exigirá resolver problemas mais complexos de coordenação e estabilidade.
