Setiap kali sebuah perusahaan AI merilis model baru, salah satu pertanyaan yang paling sering diajukan pasar adalah: “Berapa banyak parameternya?”
Namun, profesor Universitas Tsinghua, pendiri Z.ai (智譜 AI), Jie Tang, berpendapat bahwa membahas jumlah parameter saja sudah tidak lagi bermakna.
Dia meninjau evolusi Scaling Law dari GPT-3, Chinchilla hingga model campuran ahli (MoE), dan menunjukkan bahwa kemampuan model tidak hanya ditentukan oleh parameter; tetapi juga harus mempertimbangkan jumlah data pelatihan, pada tahap mana biaya komputasi sebaiknya digunakan, serta siapa yang akhirnya akan menggunakan model dan dalam kondisi apa.
Yang lebih penting, seiring AI beralih dari “sekali pelatihan, sekali pengujian” menjadi jutaan bahkan miliaran kali inferensi setiap hari, solusi terbaik dari Scaling Law terus berubah.
唐杰 berpendapat bahwa, ketika parameter model sudah mencapai ambang yang cukup untuk “memuat pengetahuan dunia”, menumpuk parameter total lagi belum tentu merupakan cara terbaik untuk meningkatkan kemampuan. Tahap berikutnya yang lebih layak diperluas mungkin adalah kedalaman efektif pada penalaran sekali jalan (effective depth) dan post-training.
Dan GLM-5.3 terbaru dari Zhipu—adalah eksperimen kontrol yang dilakukan khusus untuk menguji asumsi ini.
Dari GPT-3 ke Chinchilla: industri AI pernah bersama-sama menempuh “jalur sesat miliaran parameter”
唐杰 pertama kali meninjau kembali sejarah perkembangan Scaling Law.
Pada tahun 2020, tim riset OpenAI yang dipimpin Kaplan dkk. mempublikasikan Scaling Laws for Neural Language Models. Hasil penelitiannya sempat ditafsirkan sebagai: seiring meningkatnya komputasi, ukuran parameter model harus tumbuh lebih cepat dibanding data pelatihan, dengan laju ekspansi keduanya kira-kira 2,7:1.
Scaling Law ini sangat memengaruhi arah pengembangan model besar pada masa itu. Model seperti GPT-3, DeepMind Gopher, dan Microsoft MT-NLG melangkah menuju skala parameter yang lebih besar, dan gagasan “semakin besar model semakin baik” perlahan menjadi arus utama di industri.
Namun, setelah makalah Chinchilla dari DeepMind diterbitkan pada tahun 2022, pemahaman itu banyak dikoreksi.
Peneliti Hoffmann dkk. melakukan eksperimen ulang melalui sekitar 400 model, dan menemukan bahwa jika mengejar hasil terbaik dengan komputasi pelatihan yang tetap, ukuran parameter model dan data pelatihan harus bertumbuh lebih seimbang; nilai pengalaman klasiknya sekitar 20 token pelatihan per setiap parameter.
Saat itu, model-model besar tidak selalu karena parameternya kurang—sebaliknya, mungkin karena “modelnya dibuat terlalu besar, sementara data yang diberi makan tidak cukup”.
唐杰 menunjukkan bahwa estimasi Kaplan Scaling Law memiliki kesalahan yang akan membesar seiring skala komputasi. Karena itu, model generasi dengan skala terbesar justru mungkin merupakan model dengan penyimpangan pengalokasian sumber daya dari titik optimal yang paling parah.
Ia menggambarkannya: kalau melihat ke belakang, perlombaan miliaran parameter adalah jalan memutar yang dilalui seluruh bidang bersama-sama, lalu kemudian semuanya berbalik bersama-sama.
Chinchilla juga bukan titik akhir
Namun, masalah utama yang diselesaikan Chinchilla tetaplah “optimisasi komputasi pelatihan”.
Asumsi dasarnya cenderung pada model yang selesai dilatih lalu dinilai; tetapi hari ini, model AI komersial bisa dipanggil hingga miliaran kali setiap hari. Ketika biaya inferensi (inference cost) setelah model dideploy dimasukkan ke dalam pertimbangan seluruh siklus hidup, konfigurasi model terbaik juga berubah.
唐杰 menegaskan bahwa, jika biaya inferensi ikut dimasukkan ke dalam tujuan optimisasi, strategi yang masuk akal justru bisa menjadi: model dibuat lebih kecil, tetapi pelatihannya dibuat lebih lama. Dengan kata lain, sengaja melakukan “over-training”.
Ia mengambil contoh Meta Llama-2-7B dan Google Gemma-2-9B: volume pelatihan keduanya masing-masing mencapai sekitar 290 tokens per parameter (TPP) dan 889 TPP, jauh di atas TPP klasik Chinchilla yaitu 20 TPP.
Ini bukan sekadar membuang komputasi pelatihan lebih banyak, melainkan karena model akan dideploy secara luas dan melakukan inferensi berulang, maka biaya pelatihan yang lebih besar diinvestasikan lebih awal untuk menukar inferensi yang lebih kecil dan lebih murah.
MoE kembali mengubah Scaling Law
Setelah model Mixture of Experts (MoE) menjadi populer, menilai kemampuan hanya dengan “berapa banyak parameter yang dimiliki model” menjadi semakin sulit.
唐杰 berpendapat bahwa MoE setidaknya harus membedakan dua konsep:
Total Parameters menentukan kira-kira seberapa banyak “hal” yang bisa dimuat model, misalnya pengetahuan, fakta, dan informasi long-tail yang sangat banyak; sedangkan Activated Parameters dan Effective Depth lebih mendekati seberapa kompleks perhitungan yang bisa dilakukan model hingga penalaran sekali jalan selesai, serta apakah model mampu mempertahankan rantai penalaran sebab-akibat yang lebih panjang.
Karena itu, menerapkan langsung rumus Dense Model “20 tokens per parameter” ke model MoE sendiri berpotensi bermasalah.
唐杰 selanjutnya mengutip penelitian Roberts dkk. pada tahun 2025 yang menunjukkan bahwa best tokens-per-parameter (TPP) bukanlah konstanta tetap, melainkan bergantung pada tugas: tugas yang berbasis memori cenderung lebih menyukai penambahan parameter, sementara tugas penalaran lebih diuntungkan dengan penambahan data.
Penelitian MoE selanjutnya bahkan mengamati bahwa, dalam kondisi TPP tetap, menambah total parameter model secara membabi buta justru dapat menurunkan kemampuan penalaran; sebaliknya, meningkatkan jumlah Experts yang benar-benar ikut berkomputasi dapat memperbaiki performa penalaran dengan lebih stabil.
Hal ini membuat pertanyaan “model ini punya berapa miliar parameter?” semakin sulit dijawab secara terpisah tentang seberapa kuat sebuah model AI pada akhirnya.
Mencari celah bukanlah pencarian data—yang benar-benar sulit adalah menyelesaikan penalaran 20 langkah.
唐杰 khusus mengambil contoh kerentanan keamanan siber untuk menjelaskan perbedaan antara “tahu banyak” dan “melakukan penalaran yang sangat mendalam”.
Jika sebuah model harus menemukan celah perangkat lunak yang baru, kemampuan yang benar-benar dibutuhkan bukanlah sekadar menghafal lebih banyak data CVE, melainkan apakah model mampu menelusuri rangkaian penalaran yang mungkin panjangnya hingga 20 langkah sampai ke ujungnya, sambil tetap mempertahankan konteks dan hubungan sebab-akibat yang benar selama proses berlangsung.
Seberapa banyak pengetahuan dunia yang diingat model, dan seberapa dalam model mampu memikirkan sebuah masalah, mungkin merupakan dua masalah Scaling yang berbeda.
唐杰 menilai bahwa total jumlah parameter mungkin hanya sangat penting sampai batas tertentu: model pertama-tama harus “cukup besar untuk memuat pengetahuan dunia”; setelah melewati ambang itu, peningkatan kemampuan kemungkinan besar lebih banyak berasal dari dimensi Scaling lain, termasuk kedalaman efektif pada satu kali forward pass dan post-training.
GLM-5.3 melakukan eksperimen kontrol: tidak menambah parameter, hanya memperluas pelatihan RL dan tugas long-range
Ia menyatakan bahwa GLM-5.3 dapat dipandang sebagai eksperimen kontrol yang dilakukan oleh Zhipu untuk menguji asumsi Scaling ini.
GLM-5.3 dan GLM-5.2 memakai Base Model yang sama, arsitektur yang sama, bahkan mempertahankan jumlah parameter total dan parameter start yang sama. Tim kali ini tidak memilih untuk terus memperbesar model, melainkan menginvestasikan waktu satu bulan untuk memperluas Long-horizon Environments dan penguatan pembelajaran (RL).
Dengan kata lain, eksperimen ini sengaja menahan ukuran model, hanya memutar satu “tuas Post-training Scaling”.
Menurut 唐杰, peningkatan kemampuan pada akhirnya bukan sekadar perbaikan marjinal, melainkan cukup signifikan.
Hasil ini juga membuatnya sampai pada kesimpulan yang lebih penting: Scaling tidak gagal—industri AI mungkin perlu memahami ulang “Scaling sebenarnya sedang memperluas apa”.
唐杰 tidak percaya ini berarti parameter model sudah tidak penting, dan juga tidak menyatakan bahwa Pre-training Scaling sudah mencapai batasnya.
Justru sebaliknya, termasuk ukuran Base Model, data Pre-training, serta komputasi yang diinvestasikan pada setiap Forward Pass—di masa depan masih ada ruang untuk diperluas, dan Zhipu juga diperkirakan akan kembali mengarah ke bidang-bidang tersebut.
Artikel ini: semakin besar parameter belum tentu semakin kuat! Pendirian Zhipu AI 唐杰 membahas Scaling Law: kunci ada pada kedalaman penalaran dan post-training. Muncul pertama kali pada .