每當一家 AI 公司推出新模型，市場最常問的問題之一就是：「它有多少參數？」
但清華大學教授、智譜 AI（Z.ai）創辦人唐杰（Jie Tang）認為，單獨討論參數量已經失去意義。
他回顧從 GPT-3、Chinchilla 到混合專家模型（MoE）的 Scaling Law 演變，指出決定模型能力的不只有參數，還必須同時考慮訓練資料量、算力要花在哪個階段，以及模型最終會由誰、在什麼條件下使用。
更重要的是，隨著 AI 從「訓練一次、測試一次」走向每天數十億次推論，Scaling Law 的最佳解也一直在改變。
唐杰認為，當模型參數達到足以「容納世界知識」的門檻後，繼續堆高總參數未必是提升能力的最佳方式，下一階段更值得擴展的方向可能是單次推論的有效深度（effective depth）與後訓練（post-training）。
而智譜最新的 GLM-5.3，就是針對這項假設所進行的控制實驗。
從 GPT-3 到 Chinchilla：AI 業界曾集體走過「兆參數彎路」
唐杰首先回顧 Scaling Law 發展史。
2020 年，OpenAI 研究團隊 Kaplan 等人發表 Scaling Laws for Neural Language Models，研究結果一度被解讀為：隨著算力增加，模型參數應該比訓練資料成長得更快，兩者擴展速度大約為 2.7：1。
這項 Scaling Law 深刻影響了當時的大模型發展方向，GPT-3、DeepMind Gopher、微軟 MT-NLG 等模型都朝著更大的參數規模前進，「模型越大越好」也逐漸成為業界主流思路。
然而，DeepMind 在 2022 年發表 Chinchilla 論文後，這套認知被大幅修正。
Hoffmann 等研究人員透過約 400 個模型重新進行實驗，發現若追求固定訓練算力下的最佳效果，模型參數與訓練資料應該更加均衡地成長，經典經驗值約為每個參數搭配 20 個訓練 token。
當年的大型模型並不一定是參數不夠多，反而可能是「模型做得太大、資料餵得不夠」。
唐杰指出，Kaplan Scaling Law 的估計誤差會隨算力規模放大，因此那個世代規模最大的模型，反而可能也是資源配置偏離最佳點最嚴重的模型。
他形容：回頭來看，兆參數競賽是整個領域一起走過、最後又一起折返的一條彎路。
Chinchilla 也不是終點
然而，Chinchilla 解決的主要仍是「訓練算力最佳化」問題。
其基本假設偏向模型完成一次訓練後進行評估，但今天的商用 AI 模型可能每天被呼叫數十億次。當模型部署後的推論成本（inference cost）被納入整個生命週期考量，最佳模型配置又會改變。
唐杰指出，如果把推論成本一起放進最佳化目標，合理策略反而可能變成：模型做得更小，但訓練得更久。也就是刻意進行「Over-training」。
他以 Meta 的 Llama-2-7B 與 Google Gemma-2-9B 為例，兩者的訓練量分別達到約 290 tokens per parameter（TPP）與 889 TPP，遠高於 Chinchilla 經典的 20 TPP。
這並非單純浪費更多訓練算力，而是在模型會被大量部署、重複推論的情況下，提前投入更多訓練成本，以換取更小、更便宜的推論模型。
MoE 再次改變 Scaling Law
混合專家模型（Mixture of Experts，MoE）普及後，單純用「模型有多少參數」衡量能力又變得更加困難。
唐杰認為，MoE 至少必須區分兩個概念：
總參數量（Total Parameters）大致決定模型能「裝下多少東西」，例如知識、事實與大量長尾資訊；啟動參數量（Activated Parameters）與有效深度（Effective Depth）則更接近模型一次推論到底能進行多複雜的計算，以及能否維持較長的因果推理鏈。
因此，把 Dense Model 的「20 tokens per parameter」直接套用到 MoE 模型，本身就可能存在問題。
唐杰進一步引用 Roberts 等人在 2025 年的研究指出，最佳 tokens-per-parameter 並非固定常數，而是與任務相關：記憶型任務更偏好增加參數，推理型任務則更受益於增加資料。
後續 MoE 研究甚至觀察到，在固定 TPP 的條件下，一味增加模型的總參數可能反而使推理能力下降；相較之下，提高實際參與計算的 Experts 數量，則能較穩定地改善推理表現。
這也讓「這個模型有幾兆參數？」越來越難單獨回答一款 AI 模型究竟有多強。
找漏洞不是資料檢索，真正困難的是完成 20 步推理
唐杰特別以資安漏洞為例，說明「知道很多」與「推理很深」之間的差異。
如果模型要發現一個新的軟體漏洞，真正需要的能力並不是背下更多 CVE 漏洞資料，而是能不能沿著一條可能長達 20 個步驟的推理鏈一路推演到最後，過程中仍然維持正確的上下文與因果關係。
模型記住多少世界知識，與模型能把一個問題想多深，可能是兩種不同的 Scaling 問題。
唐杰指出總參數量可能只在某個門檻以前非常重要，模型首先必須「大到足以容納世界」；跨過這個門檻之後，新增能力可能更多來自其他 Scaling 維度，包括單次 forward pass 的有效深度，以及後訓練。
GLM-5.3 做控制實驗：不加參數，只擴大 RL 與長程任務訓練
他表示，GLM-5.3 可以視為智譜針對這項 Scaling 假設進行的一次控制實驗。
GLM-5.3 與 GLM-5.2 採用相同 Base Model、相同架構，甚至維持相同的總參數與啟動參數。團隊這次沒有選擇繼續放大模型，而是投入一個月時間，擴展 Long-horizon Environments 與強化學習（RL）。
換言之，這次實驗刻意把模型大小控制住，只轉動「Post-training Scaling」這一個旋鈕。
按照唐杰的說法，最終帶來的能力提升並非邊際改善，而是相當顯著。
這項結果也讓他得出一個更重要的結論：Scaling 並沒有失效，而是 AI 業界可能需要重新理解「Scaling 到底是在擴展什麼」。
唐杰並不認為這代表模型參數已經不重要，也沒有宣告 Pre-training Scaling 已經走到盡頭。
恰恰相反，包括 Base Model Size、Pre-training Data，以及每次 Forward Pass 投入的 Compute，未來仍然存在擴展空間，智譜也預計重新回到這些方向。
這篇文章 參數越大不一定越強！智譜 AI 創辦人唐杰談 Scaling Law：關鍵在推理深度與後訓練 最早出現於 。