高通說新芯片能在手機上本地跑 30B 的 MoE 模型。

我第一反應是懷疑，第二反應是——如果真能做到，很多我們團隊裏的「必須調 API」的判斷要重新過一遍了。延遲、隱私、離線，這三件事一旦解決，本地推理的產品空間比雲端大得多。

當然跑得動和跑得快是兩回事。等實機再說。但方向我挺看好：模型往小的壓，芯片往大的堆，中間那層雲會越來越薄。