GLM-5.2 mang lại mô hình mã hóa trọng số mở thực sự với cửa sổ ngữ cảnh 1M-token. Phần khó khăn là phục vụ toàn bộ cửa sổ đó trên phần cứng mà nhiều đội đã chạy trong sản xuất: Hopper.
Chúng tôi đã lượng tử hóa GLM-5.2-FP8 thành W4AFP8 và xác thực nó trên một node 8×H200 duy nhất với SGLang. Điểm kiểm tra cắt giảm bộ nhớ trọng số từ 755 GB xuống còn 368 GB, giải phóng 387 GB HBM cho bộ nhớ đệm KV 1M-token và không gian chạy.
Tại sao điều này quan trọng
GLM-5.2 đã giải quyết được yếu tố mô hình của ngữ cảnh dài: chú ý thưa thớt, IndexShare, giải mã MTP suy đoán, sử dụng công cụ, lập luận và cửa sổ 1,048,576-token. Việc triển khai vẫn gặp một vấn đề thứ hai. Một cửa sổ 1M-token cần chỗ cho trọng số mô hình, bộ nhớ đệm KV, đồ thị CUDA, bộ đệm thời gian chạy và chi phí phục vụ.
Điểm kiểm tra FP8 chính thức là chuẩn phục vụ chung đúng. Trên Hopper, chuẩn đó để lại rất ít không gian bộ nhớ dư thừa khi bạn đẩy về phía cửa sổ ngữ cảnh đầy đủ. W4AFP8 thay đổi ngân sách bộ nhớ mà không thay đổi gia đình mô hình, bộ mã hóa, hình dạng API, hoặc hành vi của GLM-5.2.
Chúng tôi đã lượng tử hóa GLM-5.2-FP8 thành W4AFP8 và xác thực nó trên một node 8×H200 duy nhất với SGLang. Điểm kiểm tra cắt giảm bộ nhớ trọng số từ 755 GB xuống còn 368 GB, giải phóng 387 GB HBM cho bộ nhớ đệm KV 1M-token và không gian chạy.
Tại sao điều này quan trọng
GLM-5.2 đã giải quyết được yếu tố mô hình của ngữ cảnh dài: chú ý thưa thớt, IndexShare, giải mã MTP suy đoán, sử dụng công cụ, lập luận và cửa sổ 1,048,576-token. Việc triển khai vẫn gặp một vấn đề thứ hai. Một cửa sổ 1M-token cần chỗ cho trọng số mô hình, bộ nhớ đệm KV, đồ thị CUDA, bộ đệm thời gian chạy và chi phí phục vụ.
Điểm kiểm tra FP8 chính thức là chuẩn phục vụ chung đúng. Trên Hopper, chuẩn đó để lại rất ít không gian bộ nhớ dư thừa khi bạn đẩy về phía cửa sổ ngữ cảnh đầy đủ. W4AFP8 thay đổi ngân sách bộ nhớ mà không thay đổi gia đình mô hình, bộ mã hóa, hình dạng API, hoặc hành vi của GLM-5.2.
