Zhipuの創業者タン・ジエ氏は、AI業界におけるモデル能力の理解が、単にパラメータ数を増やすだけから、多次元的なスケーリングへと移行していると述べた。同氏は、モデル規模はもはや能力を測る唯一の指標ではなく、データ規模、計算資源の配分、そして実世界でのユースケースと並行して評価されるべきだとした。

タン氏は、初期の研究がより大規模なモデルへの推進を加速させたと述べたが、後のホフマン氏らによる研究では、計算最適（compute-optimal）なアプローチとして、約20の学習トークン/パラメータに近い形が示唆されたという。さらに同氏は、産業界が「兆（トリリオン）規模」のパラメータモデルを目指したのは、集団的な迂回だったとし、推論コストがライフサイクル費用の重要な部分になっているため、より徹底的に学習された小規模モデルに注目が集まっているとも語った。

さらに、疎なモジュール型エキスパート（Mixture-of-Experts）アーキテクチャはスケーリングの論理を変えたと述べた。総パラメータは、モデルが保存できる知識の量に影響し、活性化パラメータは、複雑な推論にどのように影響するかを左右するという。唐氏は、最近の研究では最適なトークン対パラメータ比が1つに定まるわけではないことが示されていると語った。記憶量の大きいタスクはより多くのパラメータを必要とし、一方で推論量の大きいタスクは、データや計算の深さにより強く依存する。

唐氏は、GLM-5.3はスケーリング方向性に関する実験だと述べた。Odailyによれば、それはGLM-5.2と同じベースモデル、アーキテクチャ、総パラメータ、活性化パラメータのスケールを採用しているが、大規模な長周期環境での学習を1か月行い、ポストトレーニング中に強化学習を行ったことで性能が向上したという。モデルの伸びは、より多くのパラメータではなくポストトレーニングの拡張によるものだと彼は述べた。