华为开源了个量化工具 MACaQ：给 122B 的 Qwen 大模型做完整量化，只用了 64 分钟，峰值显存只要 32.5GB。
以前这种量级的模型量化要半天甚至几天，显存还经常爆炸。精度用的是 W4A4，困惑度跟 MR-GPTQ、DuQuant++ 比更低或持平，量化时间只要它们的 1/11；Qwen3 上 prefill 加速 2.33 倍、decode 加速 2.58 倍，额外开销只有 2.3%。
文本、图像、视频、音频、3D 都能打，一套工具直接出 GGUF、vLLM、Diffusers、PyTorch 格式。GitHub 已开源，Apache 2.0 协议。
千亿模型量化从"半天起步"变成"一小时搞定"，本地跑大模型的门槛又被打穿一块。
$BTC
以前这种量级的模型量化要半天甚至几天，显存还经常爆炸。精度用的是 W4A4，困惑度跟 MR-GPTQ、DuQuant++ 比更低或持平，量化时间只要它们的 1/11；Qwen3 上 prefill 加速 2.33 倍、decode 加速 2.58 倍，额外开销只有 2.3%。
文本、图像、视频、音频、3D 都能打，一套工具直接出 GGUF、vLLM、Diffusers、PyTorch 格式。GitHub 已开源，Apache 2.0 协议。
千亿模型量化从"半天起步"变成"一小时搞定"，本地跑大模型的门槛又被打穿一块。
$BTC
