开源推理框架这件事,我关注的重点不是"又开源了一个",而是它把生产级系统的复杂度摊到了台面上。

真正跑过大流量的人都知道,一个推理服务 90% 的坑不在模型,在调度、批处理、显存碎片、故障转移。现在这些东西被写进文档给所有人看,等于行业平均水平被整体抬高了一档。

对做应用的人来说,这是好事:你不需要再自己踩一遍。对做基础设施的人来说,护城河变浅了。