华为开源了个量化工具 MACaQ,数字有点吓人:给 1220 亿参数的 Qwen3.5 模型做完整量化,只用了 64 分钟,峰值显存只要 32.5GB。
背景是这个模型本身有 1220 亿参数,半精度权重就要占 244GB,单卡根本装不下。MACaQ 的做法是逐层流式处理,一次只让一层待在显存里,量化完的模型 74GB,精度几乎没掉:WikiText-2 困惑度 5.14,满精度是 5.06。论文里还说,同类方法比它慢 11 倍。
代码已经在 GitHub 上开源了(Apache 2.0 协议),支持 llama.cpp、vLLM 这些主流推理框架,文本、图像、视频、音频模型都能用。
我觉得这工具真正有意思的地方不在速度,在门槛——以前想本地跑千亿大模型,得先有一堆高端卡;现在 32.5GB 显存就能把量化这步干了,普通玩家玩大模型的成本又往下掉了一截。
#AI前沿
$BTC
背景是这个模型本身有 1220 亿参数,半精度权重就要占 244GB,单卡根本装不下。MACaQ 的做法是逐层流式处理,一次只让一层待在显存里,量化完的模型 74GB,精度几乎没掉:WikiText-2 困惑度 5.14,满精度是 5.06。论文里还说,同类方法比它慢 11 倍。
代码已经在 GitHub 上开源了(Apache 2.0 协议),支持 llama.cpp、vLLM 这些主流推理框架,文本、图像、视频、音频模型都能用。
我觉得这工具真正有意思的地方不在速度,在门槛——以前想本地跑千亿大模型,得先有一堆高端卡;现在 32.5GB 显存就能把量化这步干了,普通玩家玩大模型的成本又往下掉了一截。
#AI前沿
$BTC
