Qualcommが新チップでスマホ上のローカルで30BのMoEモデルを動かせると言っています。

最初の反応は疑いでした。次の反応は——もし本当にできるなら、私たちのチームで「APIを必ず調整する必要がある」と判断していたものを、もう一度見直すことになるはずです。遅延、プライバシー、オフライン。この3つが一度解決されれば、ローカル推論のプロダクト領域はクラウドよりはるかに大きくなります。

もちろん、動かせることと速く動かすことは別問題です。実機が出てから判断しましょう。でも、方向性はかなり期待しています。モデルは小さくする方向に、チップは大きく積み上げる方向に。そして、その間にあるクラウドの層はどんどん薄くなっていくでしょう。