В тестах скорость матричных вычислений Huawei Ascend 950PR составила 43% от скорости Nvidia H100. По данным ChainCatcher, исследовательская компания в сфере полупроводников SemiAnalysis протестировала 1 055 матричных операций, обычно используемых в крупных моделях ИИ. Низкоуровневое программное обеспечение Huawei позволило 950PR достичь 86% от её потенциальной вычислительной производительности, тогда как H100 достигла 75,5%. Однако фактическая скорость 950PR составила 21% от скорости более новой B300; тест не учитывал операторы, недавно перенесённые DeepSeek.
DeepSeek работает над изменениями программного обеспечения, чтобы сократить объём передачи данных и время ожидания. FlashMLA меняет способ хранения данных для вычислений внимания, позволяя одновременно получать доступ к двум наборам данных, которые раньше приходилось считывать по отдельности. TileLang позволяет чипу предварительно загружать следующую порцию данных во время вычислений. По данным SemiAnalysis, автоматическое планирование сократило время выполнения некоторых небольших вычислительных задач примерно на 40%. DeepSeek также адаптировала DeepEP, отвечающую за обмен данными между моделями со смесью экспертов (MoE), однако обмен данными и вычисления по-прежнему конкурируют за пропускную способность памяти. Huawei планирует и дальше совершенствовать прошивку.
В прошлом году DeepSeek попыталась обучить R2 на чипах Huawei Ascend, но эта попытка не увенчалась успехом, несмотря на помощь инженеров Huawei на месте. Сообщалось о проблемах со стабильностью чипов, связью между чипами и поддержкой программного обеспечения. Сотрудничество продолжилось в этом году: в конце сентября DeepSeek публично выпустила шесть наборов кода для адаптации к Ascend, а в октябре появились сообщения, что Huawei корректирует конструкцию чипа следующего поколения с учётом требований DeepSeek к моделям.
950PR в первую очередь предназначен для обработки входных данных для инференса. DeepSeek планирует уже к концу года использовать 950DT для крупномасштабного предварительного обучения. Стороны провели испытания на масштабе в 1 000 чипов, однако для непрерывного проведения полного цикла обучения крупной модели на десятках тысяч чипов потребуется решить более сложные проблемы координации и стабильности.
