这两天在测一个开源推理框架，同样的模型在消费级卡上跑，量化到4bit之后速度提了三倍，质量掉得比想象中少。这意味着一件很实际的事：很多过去必须上云的任务，现在一台机器就能扛住。成本结构一变，产品形态就会变。