Teks | Dingxiang One? Wang Lu
Editor | Wei Jia
Saat jalur kecerdasan terwujud terus menarik perhatian modal, berbagai papan peringkat terkait juga makin banyak. Ketika “nomor satu” hampir menjadi paket standar setiap perusahaan, apakah papan peringkat masih punya kredibilitas?
Satu bulan lebih lalu, Qianxun Intelligent mengalami momen yang memalukan. Awal Juni, model basis berwujud Spirit v1.6 milik mereka di papan RoboArena dengan skor 1918 berhasil melampaui skor 1880 model Nvidia Cosmos3, sehingga sempat menempati posisi “nomor satu dunia”. Tidak lama setelah itu, Qianxun mengumumkan telah menyelesaikan pendanaan putaran A+ senilai 1,5 miliar yuan. Dalam tiga bulan, mereka merampungkan empat putaran pendanaan yang padat, totalnya mendekati 5 miliar yuan—mencetak rekor frekuensi pendanaan tertinggi baru untuk jalur kecerdasan terwujud.
Namun, di kalangan industri, keraguan terhadap data penilaian nyaris langsung mulai memanas sejak hari berikutnya. Ada pengamat yang menyebutkan, dalam 310 catatan penilaian, 72% nilai berasal dari dua akun. Yang lebih patut diperhatikan, belakangan RoboArena resmi merilis pernyataan: setelah ditelusuri, mereka menghapus sebagian data penilaian yang meragukan, sekaligus memperbarui peringkat di papan. Spirit v1.6 juga kemudian dicabut dari papan peringkat.
Tapi kejadian itu tidak memadamkan antusiasme para pemain. Jika dibuka berita industri setengah tahun terakhir, Starry Era, Lingsi Force, Jijing Shijie, Zhineng, Kuangwei, Luming… Hampir setiap perusahaan besar memegang satu “nomor satu”, dan “nomor satu” itu dimensinya berbeda-beda.
Gambaran ini mungkin tidak sulit dipahami. Saat ini jalur teknis kecerdasan terwujud belum seragam, dan tingkat keberhasilan robot di dunia nyata sebagian besar mentok di kisaran lima sampai enam puluh persen. Untuk menilai apakah sebuah perusahaan benar-benar mumpuni, pihak luar banyak bergantung pada papan peringkat. Namun ketika pemberi pengumuman tidak hanya kampus dan institusi, tetapi juga media—sementara standar tiap pihak berbeda-beda, bahkan sebagian masih terlibat urusan dagang dan relasi kepentingan—muncul pertanyaan: apakah papan peringkat itu masih bisa dijadikan patokan?
Seorang investor yang fokus pada jalur kecerdasan terwujud mengungkapkan bahwa papan peringkat lebih condong ke perilaku pasar—paling banter menjadi referensi untuk keputusan investasi. Ia tidak terkejut dengan kasus Qianxun. Menurutnya, yang benar-benar peduli pada urutan sering kali bukan lembaga yang berangkat dari sudut pandang keuangan atau teknologi, melainkan beberapa dana pembangunan daerah atau dana yang didominasi aset negara. Sebuah “nomor satu” mungkin justru menjadi “pintu masuk yang cukup bagus” yang mereka tulis di laporan. Tapi ada juga investor yang punya pandangan berbeda: mereka menilai pada tahap awal ketika hambatan teknologi tinggi dan informasi tidak simetris, papan peringkat setidaknya menyediakan titik awal untuk perbandingan horizontal.
Ketika jumlah “nomor satu” lebih banyak daripada perusahaan yang benar-benar mengerjakan robot, papan-papan peringkat ini sebenarnya sedang menguji teknologi, atau menguji kemampuan bercerita? Papan mana yang masih layak dilihat?
01 Jalur teknis belum seragam, setiap orang dulu punya satu “nomor satu”
Kita mulai dengan mengurai papan peringkat yang ada di pasaran saat ini, untuk membangun gambaran umum. Berdasarkan statistik yang tidak sepenuhnya lengkap, papan peringkat aktif untuk kecerdasan terwujud saat ini mencapai lebih dari 20.
Untuk papan peringkat komprehensif VLA, yang dinilai adalah apakah robot benar-benar bisa bekerja, metriknya adalah tingkat keberhasilan tugas. Contoh papan peringkatnya adalah RoboChallenge Table30 dan MolmoSpaces;
Papan peringkat model dunia menguji apakah penalaran di dalam kepala itu benar, menilai penalaran model terhadap dunia fisik. Tidak menilai apakah gerak tangan dan kaki robotnya lincah. Contohnya adalah World Arena dan WorldModelBench;
Papan peringkat benchmark khusus menilai apakah “akan ketahuan” dalam kondisi ekstrem. Ini menargetkan kemampuan ekstrem pada satu titik, misalnya koordinasi dua lengan, dari simulasi ke migrasi ke mesin nyata. Contohnya adalah RoboTwin 2.0, SimplerEnv, LIBERO dan CALVIN. Nilainya adalah, di skenario ekstrem yang tidak terjangkau oleh papan peringkat komprehensif, kekurangan model dipaksa keluar.
Perlu dijelaskan bahwa tiga jenis papan peringkat ini punya fokus masing-masing dan tidak saling menggantikan. Papan untuk mesin nyata menilai eksekusi; papan model dunia menilai penalaran; papan khusus menilai batas. Tidak ada satu pun yang mampu mencakup seluruh kemampuan kecerdasan terwujud.
Dengan koordinat ini, laporan perang model basis kecerdasan terwujud dalam setengah tahun terakhir bisa dipetakan satu per satu. Jika menggabungkan laporan perang dua bulan terakhir untuk model basis kecerdasan terwujud, kita bisa mendapat daftar yang cukup mengesankan.
Pada bulan Mei tahun ini, Starry Era Era0 mengklaim meraih peringkat pertama RoboChallenge Table30; Zhineng GE-Sim 2.0 adalah nomor satu World Arena Track1; Kuangwei DSCFuncWorld adalah nomor satu World Arena Track2. Memasuki Juni, Qianxun Spirit v1.6 meraih nomor satu di RoboArena (kemudian dicabut), sedangkan Luming Prime R0 menduduki puncak MolmoSpaces. Hampir semua perusahaan punya “nomor satu”, dan semuanya disertai pembenaran berupa peringkat papan peringkat yang spesifik.
Kalau ada kekacauan (chaos) atau kerusakan, itu juga berawal dari berbagai papan peringkat.
Yang paling jelas adalah, posisi juara seperti buffet yang bergilir—“nomor satu” sering berganti.
Papan peringkat teratas RoboChallenge Table30. Dalam enam bulan terakhir, minimal sudah berganti empat kali: mula-mula Qianxun Spirit v1.5 dengan tingkat keberhasilan 50,33% memperbarui rekor, lalu tak lama disalip oleh Jijing Shijie GigaBrain-0.1, Boston Dynamics Atlas, dan Starry Era Era0 secara bergiliran.
Kecepatan ini jauh lebih cepat dibanding papan peringkat arus utama untuk model bahasa besar. Dari 2023 sampai 2025, posisi teratas di papan seperti MMLU dan GSM8K—untuk GPT-4, Claude 3, Gemini 1.5—biasanya bisa bertahan berbulan-bulan bahkan setahun. Meski pada periode iterasi cepat 2020 sampai 2022, GPT-3 dan PaLM pun tetap memakai siklus penggantian sekitar per bulan. “Untuk kecerdasan terwujud saat ini, satu model bisa menguasai papan selama seminggu saja sudah tidak mudah,” kata Mi Fan, seorang pelaku industri kecerdasan terwujud.
Penyebab utamanya bisa diringkas menjadi dua poin. Pertama, sifat acak dari dunia fisik: jika model yang sama menjalankan dua kali di mesin nyata, wajar bila tingkat keberhasilannya berbeda 3 sampai 5 poin persentase. Pencahayaan, posisi benda, dan toleransi lengan mekanik semuanya memengaruhi hasil. Sementara papan peringkat model bahasa besar seperti MMLU menggunakan soal tetap dan penilaian yang deterministik; jika model yang sama dijalankan seratus kali, skornya hampir tidak berubah. Kedua, tingkat keterbukaan tugas uji. Seperti Table30 RoboChallenge: distribusi 30 tugasnya dipublikasikan. Masing-masing pihak bisa mengambil data khusus sesuai tugas, melakukan fine-tuning model, lalu mengajukannya kembali. “Masa berlaku kualitas” (quality period) untuk posisi papan teratas pun akhirnya ditekan sampai hitungannya per minggu.
Yang lebih membingungkan adalah, dalam papan peringkat yang sama bisa muncul beberapa “nomor satu” sekaligus.
World Arena adalah contoh tipikal. Zhineng GE-Sim 2.0 dan Kuangwei DSCFuncWorld sama-sama mengklaim “menjuarai World Arena” ke publik. Namun kenyataannya, papan ini memiliki banyak jalur (track). Zhineng GE-Sim 2.0 menempati peringkat pertama di Track1 (persepsi dan respons aksi) dengan skor 68,26, sedangkan Kuangwei DSCFuncWorld menempati nomor satu di Track2 (mesin data). “Nomor satu” berasal dari sub-papan yang berbeda, tetapi ke publik semuanya ditulis dalam satu kalimat yang sama.
Bagi pembaca yang belum akrab dengan pembagian kategori jalur (track), klaim dua perusahaan yang sama-sama “nomor satu World Arena” hampir tidak bisa dibedakan. Bahkan mereka mungkin curiga apakah ada yang berbohong, padahal sebenarnya tidak ada yang salah—hanya kurang tepat dalam rincian.
Ada juga zona yang lebih kabur lagi: sifat papan peringkat bercampur, tetapi nilai “nomor satu” secara default dianggap berada pada level yang sama, sehingga mudah menyesatkan.
Dalam pernyataan eksternal beberapa perusahaan, sering kali mereka mencantumkan sekaligus: “model tertentu meraih nomor satu di RoboChallenge”, dan “juga menempati nomor satu dalam penilaian media kecerdasan terwujud tertentu”. Yang pertama adalah tingkat keberhasilan yang dijalankan di mesin nyata 7×24 jam; yang kedua mungkin hanya daftar hasil diskusi tertutup tim redaksi, bahkan hasil penetapan dari kerja sama bisnis. Keduanya dimasukkan berdampingan dalam satu kalimat, namun nilai dari keduanya secara default dianggap berada pada level yang sama.
Yang paling kabur adalah “papan industri”. Ada papan yang mengusung kata “industri”, tetapi bukan papan keras yang benar-benar mengunci mesin nyata, juga bukan benchmark yang mendapat validasi dari lembaga akademik. Ini lebih seperti papan skor hasil kerja sama perusahaan konsultasi atau media. Hal serupa pernah muncul juga di dunia model bahasa besar. Tapi karena papan akademik, evaluasi komersial, dan papan media mulai tersegmentasi, “dua-duanya nomor satu” pelan-pelan dibongkar. Adapun untuk kecerdasan terwujud, saat ini masih berada pada tahap yang belum tersegmentasi.
Jika tiga fenomena ini saling bertumpuk, hasilnya adalah inflasi besar-besaran pada “nomor satu” di papan peringkat. Dan inflasi ini tidak berhenti pada level pemasaran; gelar “nomor satu” sering kali bisa ditukar dengan perhatian, sumber daya, dan juga kenaikan valuasi yang benar-benar nyata.
02 Bagaimana sebuah “nomor satu” dibuat?
Karena papan peringkat bisa menggerakkan uang sungguhan, bagaimana cara membuat “nomor satu” juga membentuk semacam “aturan tak tertulis” (potensi potensi). Pihak dalam industri menjelaskan, meski Qianxun Spirit v1.6 hanya contoh yang ekstrem, fenomena pembuatan “nomor satu” di industri tidaklah sedikit. Secara garis besar ada tiga jenis cara.
Biaya paling rendah, juga cara paling umum, adalah membungkus dengan bahasa. “Juara nomor satu per bidang” berubah jadi “juara nomor satu total”, intinya menghilangkan kata pembatas kunci.
Misalnya, yang sebenarnya didapat adalah “RoboTwin 2.0 koordinasi dua lengan versi VLA, kategori Clean, nomor satu”, tetapi ke publik menjadi “juara di puncak RoboTwin 2.0”. Sebenarnya mereka juga “meraih nomor satu khusus untuk generalisasi skenario LIBERO-Plus”, tetapi ke publik jadi “puncak papan LIBERO-Plus”. Tidak ada pemalsuan data, hasilnya juga nyata, tetapi cakupan yang dimaksud dari “nomor satu” diperbesar secara artifisial.
Cara kedua adalah menggunakan “latihan soal” untuk mengintervensi hasil secara langsung.
Salah satunya adalah “latihan mengikuti soal”. Distribusi tugas, kriteria penilaian, dan parameter lingkungan yang dipublikasikan di papan peringkat dapat digunakan untuk pelatihan terarah setelahnya. Ini terlihat terutama jelas pada beberapa papan peringkat yang tugasnya relatif tetap; masing-masing pihak bisa mendapatkan skor tinggi lewat “ngecek soal” berulang, melakukan overfitting sampai skenario tertentu.
Mi Fan mengatakan, pada beberapa papan peringkat di bidang kecerdasan terwujud, tugas pengujian bersifat publik. Tiap pihak bisa mengumpulkan data khusus untuk tugas-tugas ini, melakukan fine-tuning model, lalu mengirimkannya kembali. Di lingkaran kecerdasan terwujud, ini dianggap iterasi normal, bukan kecurangan, dan berbeda secara mendasar dengan konsep “kebocoran data, pencemaran data” di bidang LLM.
Yang lain adalah mengincar celah dalam mekanisme evaluasi. Ada papan yang otoritasnya tinggi, tapi mekanismenya punya lubang yang bisa dimanfaatkan. Misalnya RoboArena menggunakan registrasi terbuka dan penilaian terdistribusi. Niatnya agar lebih banyak orang terlibat, namun justru meninggalkan tiga celah.
Pertama, identitas penilai tidak ada batasan. Siapa pun bisa mendaftar sebagai juri. Dalam waktu singkat, banyak akun baru berkumpul untuk menilai model yang sama, sehingga skor Elo bisa cepat dipompa;
Kedua, pencocokan tidak mengharuskan pemenuhan seluruh cakupan. ? Pembagian lawan secara acak tidak berarti harus bertanding satu putaran dengan semua yang ada di papan pada periode yang sama. Saat penilai menerima tugas, A adalah tetap, B dipilih secara acak dari model-model yang skornya mirip. Ketika ukuran sampel tidak cukup besar, dua model sama sekali mungkin tidak pernah bertemu dalam evaluasi. Misalnya, pada tahap awal Spirit v1.6 bertanding dengan DreamZero: setelah 23 pertandingan, mereka berhenti perang, sementara Nvidia Cosmos3-Nano-Policy yang masuk papan pada 30 Mei tidak melakukan duel sama sekali;
Ketiga, penilaian dilakukan secara terpusat. Dengan menggunakan banyak akun untuk menilai secara intensif model sendiri, catatan negatif bisa ditekan. Misalnya, dari 310 catatan penilaian Spirit v1.6, 72% nilainya berasal dari dua akun ECUST dan Robotics Lab. Mereka menyikat dengan 224 sesi evaluasi untuk menghasilkan tingkat kemenangan 97%, sehingga mendorong Spirit v1.6 menjadi nomor satu. Namun Nvidia menguji dengan kondisi yang sama sebanyak 21 kali, dan tingkat keberhasilannya 0%. Ketika dua kelompok data diletakkan berdampingan, pelaku industri langsung menaruh kecurigaan.
Setelah itu, RoboArena menambahkan aturan: penilai harus menjadi pihak ketiga yang tidak punya kepentingan, untuk menutup jalur akun self-scrubbing. Akun dengan tingkat penyelesaian evaluasi di bawah 20% diberi label mencurigakan, sekaligus menutup peluang pencocokan selektif. Setelah penanganan tersebut, Qianxun tersingkir dari papan peringkat.
Ada juga cara yang paling tersembunyi sekaligus paling merajalela: pertukaran sumber daya, yaitu menjadikan papan peringkat langsung seperti bisnis.
Standar pemilihan banyak media dalam papan peringkat tidak transparan. Ada yang bahkan melakukan kerja sama bisnis dengan objek yang dinilai: kedua pihak menerbitkan “laporan otoritatif” bersama, lalu membungkus papan peringkat media dan benchmark akademik dalam satu paket. Ini tidak melibatkan teknologi, juga tidak melibatkan data—yang dibahas hanya anggaran dan relasi. Tidak sedikit pelaku industri yang menyatakan bahwa fenomena seperti menyikat papan peringkat atau membeli papan peringkat bukanlah hal yang langka.
Ketiga metode ini sering saling tumpang tindih. Mula-mula mengandalkan pelatihan terarah atau memanfaatkan celah untuk “memompa” skor. Lalu mengalihkan sumbernya dengan cara mengganti label jalur. Terakhir menyebarkannya ke publik dengan bahasa pemasaran; jika perlu, membeli pembenaran dari papan peringkat media. Di balik kemasan berlapis-lapis itu, “nomor satu” pun menjadi sesuatu.
Cara-cara ini bukan rahasia di dalam industri. Masalah sebenarnya adalah: untuk melihatnya, dibutuhkan fondasi teknis tertentu. Semakin rumit teknologinya, semakin sulit bagi orang awam untuk membedakan, dan semakin mudah cerita dibuat.
03 Hilangkan “airnya”, lalu harus percaya apa lagi?
Bukan hanya satu pelaku industri kecerdasan terwujud yang mengakui bahwa saat ini mereka sudah tidak terlalu memperhatikan peringkat papan, karena papan bisa disikat dan bisa dibeli. Bahkan jika semuanya patuh aturan, kompleksitas lingkungan fisik membuat data sangat sulit mencapai akurasi 100%.
Masalah yang lebih dalam lagi adalah, industri ini saat ini belum memiliki satu “alat ukur” yang universal.
Pelaku industri kecerdasan terwujud gashero memakai analogi “menggoreng telur” dan “mencampur mie dingin” (bisa dianggap hidangan berbeda): Robot A jago menggoreng telur, tingkat keberhasilan 90%; robot B jago mencampur mie dingin, tingkat keberhasilan 85%. Tapi tidak bisa langsung disimpulkan A lebih kuat dari B. Menggoreng telur menguji kemampuan mengambil bahan dan membalik wajan; mencampur mie dingin menguji ketepatan menuang saus dan mengaduk. Dua hal ini keterampilannya berbeda, tingkat kesulitannya berbeda, dan standar evaluasinya pun berbeda. Saat ini, jalur kecerdasan terwujud belum punya standar yang seragam yang bisa mengonversi kemampuan “menggoreng telur” dan kemampuan “mencampur mie dingin” ke dalam satu sistem penilaian yang sama.
Namun, ini tidak berarti papan peringkat benar-benar tidak ada gunanya. Para praktisi pada umumnya menganggap papan peringkat masih punya nilai rujukan. Kuncinya adalah mengetahui apa yang layak dilihat dan apa yang harus dilihat setelah membacanya.
Berdasarkan kesepakatan bersama dari industri, papan peringkat yang benar-benar dapat dipercaya secara umum memiliki tiga ciri sekaligus.
Pertama, transparan per bagian, bukan sekadar menampilkan satu “nomor satu”.
Tidak peduli papan peringkat komprehensif maupun papan peringkat khusus, cara yang dapat dipercaya adalah memecah rincian satu per satu. Misalnya RoboChallenge Table30: yang diukur adalah tingkat keberhasilan komprehensif dari 30 tugas harian. Kepercayaannya ada pada fakta bahwa bukan hanya memberi tahu pembaca angka komprehensif 64,33%, tetapi juga menunjukkan dari 30 tugas tersebut mana yang dikerjakan dengan baik dan mana yang gagal. Papan yang hanya melaporkan skor total tanpa rincian akan kehilangan nilainya dengan besar.
Kedua, penilaian dikendalikan pihak ketiga, dan ada desain anti-“刷题”.
MolmoSpaces tidak mengizinkan fine-tuning, model diuji langsung “tanpa persiapan” (bare test). Sementara LIBERO-Plus menambahkan gangguan ekstrem seperti mutasi pencahayaan, latar yang berantakan, perubahan sudut kamera, dll., khusus untuk mencegah perolehan skor lewat menghafal mati-matian. Ciri yang sama di antara keduanya adalah membuat menyikat soal jadi sulit, sehingga generalisasi menjadi ambang batas yang benar-benar menantang.
Ketiga, lihat mekanisme evaluasinya, bukan frekuensi pembaruannya.
Papan peringkat yang pembaruannya lambat belum tentu andal, begitu juga papan yang cepat diperbarui belum tentu bisa disikat. Ada papan yang pembaruannya lambat, mungkin karena biaya evaluasi di dunia nyata sangat tinggi. Misalnya, satu siklus evaluasi lengkap di RoboChallenge bisa memakan waktu beberapa minggu: 30 tugas, masing-masing dijalankan 10 kali, total 300 percobaan pada mesin nyata, berjalan 7×24 jam terus-menerus—ini adalah kendala biaya dari dunia fisik. Sebaliknya, papan yang pembaruannya cepat biasanya karena desain mekanismenya. Contohnya, RoboArena menggunakan sistem penilaian Elo untuk peringkat dinamis: setiap hari masuk data duel baru, sehingga peringkat otomatis ikut berubah setiap hari. Kecepatan seperti itu sendiri bukan masalah; kredibilitasnya bergantung pada apakah mekanismenya rapat, apakah celah sudah ditutup.
Tapi kalau semua orang di lingkaran itu tahu bahwa papan peringkat ada “airnya”, mengapa semua orang tetap berusaha keras menyikat?
Jawabannya ada pada tahap industri saat ini.
Saat ini, perebutan “nomor satu” ini pada dasarnya adalah hasil dari kecemasan modal. Tahun ini adalah tahun iterasi intensif untuk model basis kecerdasan terwujud. Pada tahap awal, volume pengiriman, pendapatan, dan jumlah pesanan jalurnya tidak stabil—maka satu-satunya cara adalah mengandalkan papan peringkat. Tahap yang berorientasi pendanaan belum berubah, jadi soal menyikat papan peringkat juga tidak akan berhenti.
Ketika industri masuk ke tahap berikutnya, standar penilaian akan otomatis berubah. Misalnya, berapa banyak unit yang berhasil dikirim tiap tahun, pelanggan tetap siapa saja, dan apakah bisa menghasilkan keuntungan. Pada saat itu, inflasi “nomor satu” dengan sendirinya akan mereda, dan papan peringkat akan kembali ke posisi semestinya.
Mungkin, perusahaan-perusahaan yang tidak sibuk menggasak papan peringkat dan hanya fokus memasukkan robot ke lini produksi, itulah jawaban sesungguhnya bagi industri ini.
(atas permintaan narasumber, Mi Fan adalah nama samaran)