$PHA
Trọng lượng FP8 chính thức: 755 GB
Trọng lượng Phala W4AFP8: 368 GB
Điều này giải phóng 387 GB cho bộ nhớ đệm KV, đồ thị CUDA, bộ đệm thời gian chạy và phần dự phòng để phục vụ trong cửa sổ 1M token đầy đủ.
Trọng lượng FP8 chính thức: 755 GB
Trọng lượng Phala W4AFP8: 368 GB
Điều này giải phóng 387 GB cho bộ nhớ đệm KV, đồ thị CUDA, bộ đệm thời gian chạy và phần dự phòng để phục vụ trong cửa sổ 1M token đầy đủ.
