Spark 128GB muốn chạy Hy4 770B? Đã có người tìm ra cách, chỉ là tốc độ vẫn chưa thể xem là ổn

Hy4 đã mã nguồn mở. Chỉ nhìn vào 49B tham số kích hoạt, người ta dễ nghĩ rằng một chiếc Spark 128GB là đủ sức chạy. Nhưng tổng số tham số lên tới 770B, ngay cả ở độ chính xác FP8 cũng cần hơn 700GB. Theo cách chạy thông thường, phải tải toàn bộ trọng số vào bộ nhớ.

Thử nghĩ theo hướng khác thì sao? Mỗi lần chỉ đọc từ ổ cứng phần chuyên gia đang cần dùng.

Thật sự đã có người làm như vậy. Dùng trọng số gốc của DeepSeek trên một chiếc Spark, đọc trực tiếp chuyên gia từ ổ cứng, đạt tốc độ 4.4 tok/s.

Cách này khả thi, nhưng tốc độ còn lâu mới đủ cho nhu cầu sử dụng hằng ngày. Đợi đến khi đạt khoảng 40 tok/s thì hãy nghiêm túc cân nhắc chạy những mô hình lớn kiểu này trên một máy đơn cũng chưa muộn.