NVIDIA menyatakan bahwa berdasarkan beban kerja AgentX dari SemiAnalysis, dengan menggunakan model DeepSeek V4 Pro, throughput per megawatt tertinggi Vera Rubin dapat mencapai hingga 30 kali dari generasi sebelumnya GB300 NVL72, sementara biaya per token dapat diturunkan hingga 35 kali. SpaceXAI akan memakai akselerasi CPU Vera untuk aplikasi AI agen generasi berikutnya, serta memperluas pembangunan platform berbasis Vera Rubin. SpaceXAI berencana mengembangkan versi yang dioptimalkan dari Vera Rubin NVL72 untuk luar angkasa, guna digunakan pada satelit AI Starmind generasi pertama.
NVIDIA sedang mempercepat persaingan infrastruktur AI, beralih dari pelatihan model tradisional dan performa inferensi ke tahap baru yang berfokus pada kecepatan generasi token, konsumsi daya, dan biaya untuk AI agen (Agentic AI).
Pada hari Senin tanggal 24 waktu AS Timur, Nvidia mengumumkan bahwa Groq 3 LPX untuk inferensi AI interaktif secara resmi mulai produksi massal penuh. Sebagai bagian penting dari platform Vera Rubin, Groq 3 LPX menonjolkan generasi token berlatensi sangat rendah; Nvidia menyebutkan bahwa pada uji Artificial Analysis, ketika dipasang model Gemma 4 31B dengan konteks 100.000 token, Groq 3 LPX mencapai 3400 token output per detik, sekaligus menjadi rekor tertinggi untuk model tersebut; untuk beban kerja berlatensi rendah seperti pemrograman agen, kecepatan responsnya dapat mencapai hingga 4 kali platform kompetitor terdekat.
Sekaligus, Nvidia mengumumkan hasil uji terbaru untuk Vera Rubin NVL72 dalam beban kerja agen nyata: berdasarkan workload AgentX dari SemiAnalysis, dengan model DeepSeek V4 Pro, throughput per megawatt (MW) Vera Rubin hingga mencapai 30 kali lipat dari generasi sebelumnya GB300 NVL72, dan biaya per token dapat diturunkan hingga 35 kali. Nvidia menekankan bahwa tugas agen berbeda dari percakapan atau ringkasan tradisional; konteks tugas akan terus terakumulasi seiring ratusan langkah, bahkan bisa mencapai puluhan hingga ratusan ribu token.
Pada hari yang sama, Nvidia juga mengumumkan bahwa SpaceXAI akan menggunakan Vera CPU untuk mempercepat aplikasi AI agen generasi berikutnya, serta memperluas pembangunan berbasis platform Vera Rubin, seiring skala komputasinya berkembang hingga skala beberapa GW; selain itu, SpaceXAI berencana mengoptimalkan versi Vera Rubin NVL72 untuk digunakan pada satelit AI Starmind generasi pertama.
Groq 3 LPX mulai produksi massal penuh, Nvidia melengkapi “last mile” untuk agen
Kali ini Nvidia secara resmi mendorong Groq 3 LPX ke produksi skala penuh. Tujuan utamanya bukan menggantikan GPU dengan chip inferensi khusus, melainkan melengkapi Vera Rubin dengan kemampuan generasi token berlatensi rendah yang biasanya dimiliki arsitektur GPU tradisional.
Bagi agen, satu tugas sering kali bukan lagi “tanya-jawab”: agen perlu membaca dokumen, memanggil alat, menjalankan kode, memeriksa hasil, lalu melanjutkan inferensi berdasarkan hasil tersebut—mungkin berputar ratusan bahkan ribuan langkah. Dalam proses ini, kecepatan generasi token pada setiap langkah memengaruhi waktu penyelesaian seluruh tugas.
Nvidia menyatakan bahwa AI agen menghadirkan dua tantangan komputasi yang berbeda: di satu sisi, perlu pemrosesan yang efisien terhadap konteks besar yang terus bertambah; di sisi lain, perlu menghasilkan token secara berkelanjutan dengan latensi yang sangat rendah. Vera Rubin NVL72 bertanggung jawab untuk pelatihan yang lebih luas, inferensi, serta pemrosesan konteks, sedangkan Groq 3 LPX dioptimalkan untuk kecepatan interaksi pengguna tunggal, sehingga meningkatkan laju generasi token.
Pengujian terbaru Nvidia menunjukkan bahwa Groq 3 LPX mencapai 3400 token output per detik dalam kondisi Gemma 4 31B dan konteks 100K; pada tugas agen dan beban kerja lain yang sensitif terhadap latensi, kecepatan respons mencapai hingga 4 kali platform kompetitor terdekat. Nvidia menyebutkan bahwa kecepatan ini memungkinkan agen menyelesaikan tugas berantai seperti penulisan kode, pengujian, pemanggilan alat, dan verifikasi hasil dengan lebih cepat.
Dalam aspek komersialisasi, penyedia layanan cloud AI NEBIUS akan menjadi vendor cloud pertama yang mengadopsi Groq 3 LPX, dan berencana menerapkannya ke platform produksi inferensi NEBIUS Token Factory. Groq juga berencana menjadi salah satu adopter paling awal di platform tersebut.
Ini berarti bahwa, seiring Groq 3 LPX memasuki produksi massal penuh, kemampuan yang terbentuk dari akuisisi teknologi Groq oleh Nvidia sebelumnya mulai benar-benar tertanam dalam ekosistem produk pusat data Vera Rubin.
30 kali bukan “30 kali kecepatan”, melainkan lebih banyak pekerjaan agen yang dapat diselesaikan per megawatt
Dibanding indikator performa tunggal seperti 3400 Token/detik, yang lebih layak diperhatikan dalam kesempatan ini adalah penekanannya oleh Nvidia pada throughput per megawatt dan biaya Token.
Data uji yang diumumkan Nvidia menunjukkan bahwa pada workload SemiAnalysis AgentX, throughput per megawatt Vera Rubin NVL72 mencapai hingga 30 kali lipat dari GB300 NVL72, dengan biaya per token dapat diturunkan hingga 35 kali. Uji ini menggunakan jejak pemrograman agen yang benar-benar nyata, sehingga mempertahankan pertumbuhan konteks aktual, pemanggilan alat, serta generasi sub-agen, dan sebagainya.
Oleh karena itu, peningkatan hingga 30 kali pada throughput per megawatt hanyalah salah satu manifestasi dari peningkatan besar efisiensi inferensi AI, dan tidak semata-mata berarti kecepatan inferensi chip meningkat 30 kali.
Indikator ini sangat menonjol artinya bagi pusat data AI.
Layanan model besar tradisional lebih banyak fokus pada latensi dan throughput untuk satu permintaan, sedangkan workload agen secara terus-menerus mengonsumsi token. Nvidia mengutip data dari OpenRouter: beban kerja AI agen dapat mengonsumsi jumlah token hingga 15 kali permintaan percakapan sederhana. Alasannya adalah agen mungkin terlebih dahulu mencari data di basis data, lalu mencari berita dan dokumen, memanggil sub-agen untuk analisis, menjalankan kode, dan terus memverifikasi. Sepanjang proses ini, konteks terus bertambah.
Hal ini juga membuat cara mengukur keekonomian infrastruktur AI mulai muncul dengan pendekatan baru: untuk daya listrik yang sama sebesar satu megawatt, berapa banyak tugas agen efektif yang dapat diselesaikan?
Dengan latar belakang bahwa listrik dan sumber daya pusat data semakin menjadi hambatan bagi ekspansi AI, meningkatkan jumlah token yang dapat dihasilkan per unit daya listrik mungkin lebih penting daripada sekadar meningkatkan performa komputasi puncak.
Vera Rubin berubah dari “platform GPU” menjadi pabrik AI lengkap
Dari sisi arsitektur, Groq 3 LPX bukanlah produk yang berdiri sendiri, melainkan bagian dari jalur “koordinasi ekstrem” Nvidia Vera Rubin.
Sebelumnya, Nvidia telah mendefinisikan Vera Rubin sebagai platform pabrik AI untuk era AI agen. Seluruh sistem tidak semata-mata terdiri dari GPU, melainkan dirancang secara kooperatif di sekitar komputasi, jaringan, penyimpanan, dan perangkat lunak, mencakup berbagai komponen seperti Rubin GPU, Vera CPU, Groq 3 LPX, BlueField-4 DPU, Spectrum-6 SPX, dan lainnya.
Di antaranya, Rubin GPU menangani tugas seperti pelatihan dan inferensi skala besar serta pemrosesan konteks; Groq 3 LPX bertanggung jawab atas generasi token berkecepatan tinggi; sedangkan Vera CPU menangani banyak pekerjaan CPU-intensif yang muncul di antara pemanggilan model oleh agen, termasuk orkestrasi alat, eksekusi kode, pemrosesan data, dan simulasi.
Informasi arsitektur yang sebelumnya diumumkan Nvidia menunjukkan bahwa platform Vera Rubin dirancang secara kooperatif melalui tujuh chip dan lima rak khusus; tujuannya adalah agar perangkat keras yang berbeda menangani tugas yang paling cocok bagi masing-masingnya, bukan membuat satu jenis prosesor mengurus seluruh beban kerja AI.
Ini berarti Nvidia sedang meningkatkan infrastruktur AI dari “klaster GPU” menjadi sistem komputasi heterogen.
Bagi vendor cloud AI, makna arsitektur ini adalah dapat mengalokasikan sumber daya untuk berbagai tahap seperti pelatihan, inferensi konteks panjang, generasi token, pemanggilan alat, dan sebagainya, sehingga meningkatkan utilisasi pusat data dan imbal hasil ekonomi secara keseluruhan.
SpaceXAI meningkatkan Vera: AI agen berpindah dari pusat data ke luar angkasa
Tepat pada saat Groq 3 LPX mulai diproduksi secara penuh, SpaceXAI juga mengumumkan adopsi lebih lanjut terhadap ekosistem Nvidia Vera Rubin.
Pada 24 Agustus, Nvidia mengumumkan bahwa SpaceXAI akan menerapkan Vera CPU untuk aplikasi AI agen generasi berikutnya. Vera dirancang khusus untuk beban kerja CPU di luar inferensi model, termasuk pemanggilan alat, eksekusi kode, pemrosesan data, orkestrasi tugas, dan simulasi.
Vera menggunakan 88 inti Olympus yang dirancang sendiri oleh Nvidia, serta dilengkapi memori LPDDR5X berbandwidth tinggi dengan bandwidth hingga 1,2 TB/s. Nvidia menyebutkan bahwa pada workload seperti AI agen, reinforcement learning, dan pemrosesan data, kecepatan penyelesaian tugas Vera dapat mencapai hingga 1,8 kali CPU x86.
Bagi SpaceXAI, nilai Vera tidak hanya terletak pada peningkatan performa CPU.
Dalam proses menjalankan agen, banyak tugas terjadi di antara inferensi GPU, misalnya menjalankan kode, memproses data, memanggil alat, dan mengoordinasikan agen yang berbeda. Jika tugas-tugas ini ditangani oleh CPU dengan kecepatan yang tidak mencukupi, GPU bisa harus menunggu, sehingga menurunkan utilisasi seluruh pabrik AI.
Oleh karena itu, SpaceXAI ingin menggunakan Vera untuk menangani pekerjaan “di luar model” ini, sehingga GPU dapat lebih fokus pada pelatihan dan inferensi model, dan pada akhirnya meningkatkan efisiensi seluruh sistem.
Secara bersamaan, SpaceXAI juga berencana memperluas infrastruktur Grok AI berbasis Vera Rubin, seiring kemampuan komputasi diperluas hingga skala beberapa GW; lebih lanjut, perusahaan ini berencana menggunakan versi Vera Rubin NVL72 yang dioptimalkan untuk satelit Starmind AI generasi pertama.
Ini berarti sistem komputasi akselerasi Nvidia sedang diperluas dari pusat data di darat menuju komputasi di orbit.
Dari “robot obrolan” ke “eksekusi mandiri”, kebutuhan komputasi AI sedang beralih gir
Mulai dari Groq 3 LPX yang diproduksi massal penuh, hingga pengungkapan throughput 30 kali per megawatt oleh Vera Rubin, lalu hingga SpaceXAI yang memperluas Vera Rubin ke satelit Starmind, serangkaian informasi yang dilepas oleh Nvidia menunjuk pada satu perubahan yang sama: aplikasi AI sedang bergerak dari sekadar menghasilkan konten menuju penyelesaian tugas secara mandiri.
Dalam skenario percakapan dan ringkasan, pengguna biasanya hanya membutuhkan model untuk menghasilkan sepotong teks dengan cepat; sedangkan dalam skenario agen, model perlu melakukan inferensi terus-menerus, memanggil alat, menjalankan kode, mengakses data eksternal, dan terus memverifikasi hasilnya.
Ini berarti, indikator inti untuk infrastruktur AI di masa depan juga bisa berubah—dari sebelumnya fokus pada “melatih model yang lebih besar”, secara bertahap beralih untuk menilai berapa banyak token efektif yang dapat dihasilkan oleh setiap unit daya listrik, berapa banyak tugas yang dapat diselesaikan dengan biaya per unit, serta berapa lama agen menyelesaikan satu tugas kompleks.
Dalam kesempatan ini, Nvidia menempatkan Groq 3 LPX, Vera CPU, dan Rubin GPU ke dalam satu ekosistem pabrik AI, yang tepat sedang merombak desain infrastruktur untuk perubahan ini.
Sementara itu, SpaceXAI menawarkan arah aplikasi yang lebih imajinatif: jika pada akhirnya ekosistem ini dapat menjangkau dari pusat data darat ke komputasi di orbit, maka batas komputasi AI tidak lagi terbatas pada ruang mesin pusat data tradisional.
