華爲昇騰 950PR 的矩陣計算速度在測試中達到英偉達 H100 的 43%。據 ChainCatcher 報道,半導體研究機構 SemiAnalysis 測試了大型 AI 模型常用的 1,055 種矩陣運算。華爲的底層軟件使 950PR 達到其可實現計算性能的 86%,而 H100 爲 75.5%。不過,950PR 的實際速度僅爲更新款 B300 的 21%;這項基準測試未納入 DeepSeek 最近移植的算子。

DeepSeek正在進行軟件改動,以減少數據傳輸和等待時間。FlashMLA改變了注意力計算的數據存儲方式,使原本必須分別讀取的兩組數據可以同時訪問。TileLang允許芯片在計算的同時預加載下一批數據。SemiAnalysis發現,自動調度將部分小型計算任務的耗時縮短了約40%。DeepSeek還移植了負責混合專家(MoE)模型之間通信的DeepEP,但通信和計算仍在爭用內存帶寬。華爲計劃進一步改進固件。

去年,DeepSeek曾嘗試使用華爲昇騰芯片訓練R2,但儘管有華爲工程師現場協助,這項嘗試仍未成功。據報道,面臨的挑戰包括芯片穩定性、芯片間通信以及軟件支持。今年雙方繼續合作:DeepSeek於9月下旬公開發布了六套昇騰適配代碼;10月的報道稱,華爲正在調整下一代芯片設計,以滿足DeepSeek的模型需求。

950PR主要用於處理推理輸入。DeepSeek計劃最早於年底使用950DT進行大規模預訓練。雙方已在1,000片芯片的規模上開展測試,但要在數萬片芯片上持續運行完整的大模型訓練週期,還需要解決更復雜的協同和穩定性問題。