🖥️ Một GPU không thể chứa GLM-5.3, vì vậy Nvidia đã chia mô hình 753 tỷ tham số này ra hai máy
Hướng dẫn mới của Nvidia chạy GLM-5.3 của Z.ai, được lượng tử hóa sang NVFP4, trên hai DGX Station kết nối với nhau bằng ConnectX-8. Tệp checkpoint có dung lượng khoảng 464 GB. Một GPU GB300 có bộ nhớ 252 GB, nên mỗi máy chứa khoảng 218 GiB trọng số và cả hai cùng phản hồi thông qua một API. Trong bài kiểm tra lập trình của Nvidia, tốc độ đầu ra đạt đỉnh 607,8 token mỗi giây khi có 16 yêu cầu cùng lúc, sau đó giảm còn 385 khi có 32 yêu cầu chạy đồng thời.
⭐ Con số tốc độ cao này là kết quả khi nhiều người dùng cùng truy cập. Một người dùng riêng lẻ vẫn chỉ nhận được khoảng 115 token mỗi giây.
#AI
Hướng dẫn mới của Nvidia chạy GLM-5.3 của Z.ai, được lượng tử hóa sang NVFP4, trên hai DGX Station kết nối với nhau bằng ConnectX-8. Tệp checkpoint có dung lượng khoảng 464 GB. Một GPU GB300 có bộ nhớ 252 GB, nên mỗi máy chứa khoảng 218 GiB trọng số và cả hai cùng phản hồi thông qua một API. Trong bài kiểm tra lập trình của Nvidia, tốc độ đầu ra đạt đỉnh 607,8 token mỗi giây khi có 16 yêu cầu cùng lúc, sau đó giảm còn 385 khi có 32 yêu cầu chạy đồng thời.
⭐ Con số tốc độ cao này là kết quả khi nhiều người dùng cùng truy cập. Một người dùng riêng lẻ vẫn chỉ nhận được khoảng 115 token mỗi giây.
#AI
