Trong các bài kiểm tra, Ascend 950PR của Huawei đạt tốc độ tính toán ma trận bằng 43% so với H100 của Nvidia. Theo ChainCatcher, công ty nghiên cứu bán dẫn SemiAnalysis đã thử nghiệm 1.055 phép toán ma trận thường được sử dụng trong các mô hình AI lớn. Phần mềm cấp thấp của Huawei giúp 950PR đạt 86% hiệu năng tính toán tối đa có thể đạt được, so với mức 75,5% của H100. Tuy nhiên, tốc độ thực tế của 950PR chỉ bằng 21% so với B300 mới hơn; bài kiểm tra không bao gồm các toán tử mà DeepSeek mới chuyển đổi gần đây.
DeepSeek đang điều chỉnh phần mềm để giảm lượng dữ liệu truyền tải và thời gian chờ. FlashMLA thay đổi cách lưu trữ dữ liệu cho các phép tính attention, giúp truy cập đồng thời hai tập dữ liệu trước đây phải đọc riêng. TileLang cho phép chip tải trước lô dữ liệu tiếp theo trong khi tính toán. SemiAnalysis phát hiện rằng việc lập lịch tự động đã giảm thời gian thực hiện một số tác vụ tính toán nhỏ tới khoảng 40%. DeepSeek cũng đã chuyển DeepEP, công cụ xử lý giao tiếp giữa các mô hình hỗn hợp chuyên gia (MoE), sang nền tảng mới, nhưng giao tiếp và tính toán vẫn phải cạnh tranh băng thông bộ nhớ. Huawei dự định tiếp tục cải tiến firmware.
Năm ngoái, DeepSeek đã thử huấn luyện R2 trên chip Ascend của Huawei, nhưng nỗ lực này không thành công dù các kỹ sư Huawei có mặt hỗ trợ tại chỗ. Những thách thức được nêu ra liên quan đến độ ổn định của chip, giao tiếp giữa các chip và hỗ trợ phần mềm. Hợp tác vẫn tiếp tục trong năm nay: DeepSeek công khai phát hành sáu bộ mã điều chỉnh cho Ascend vào cuối tháng 9, và các báo cáo hồi tháng 10 cho biết Huawei đang điều chỉnh thiết kế chip thế hệ tiếp theo để đáp ứng yêu cầu của mô hình DeepSeek.
950PR chủ yếu được thiết kế để xử lý dữ liệu đầu vào cho suy luận. DeepSeek dự định sử dụng 950DT để tiền huấn luyện quy mô lớn sớm nhất vào cuối năm nay. Hai bên đã tiến hành thử nghiệm ở quy mô 1.000 chip, nhưng để liên tục chạy trọn vẹn một chu kỳ huấn luyện mô hình lớn trên hàng chục nghìn chip sẽ cần giải quyết các vấn đề phối hợp và ổn định phức tạp hơn.
