Dominasi Nvidia dalam komputasi kecerdasan buatan tidak pernah hanya bergantung pada GPU.
Selama lebih dari satu dekade, perusahaan ini telah membangun ekosistem perangkat lunak di sekitar CUDA yang memudahkan pengembang menggunakan, mengoptimalkan, dan menerapkan perangkat kerasnya dalam skala besar. Keunggulan perangkat lunak itu telah menjadi salah satu penghalang terkuat yang melindungi Nvidia dari para pesaing yang berusaha memasuki pasar akselerator AI.
Kini Google dan Amazon menyerang penghalang itu secara langsung.
Kedua perusahaan telah memperkenalkan perangkat lunak sumber terbuka baru yang dirancang agar pengembang dapat menjalankan beban kerja PyTorch dengan lebih mudah di prosesor AI mereka sendiri. Google telah membuka TorchTPU untuk Tensor Processing Unit-nya, sementara Amazon Web Services meluncurkan TorchNeuron untuk chip Trainium-nya.
Tujuannya sederhana: membuat peralihan dari perangkat keras Nvidia menjadi jauh kurang menyakitkan.
Google Membuka TorchTPU untuk Pengembang PyTorch
Google mengumumkan pada 20 Oktober bahwa TorchTPU kini bersifat sumber terbuka, membawa dukungan PyTorch native ke infrastruktur TPU-nya.
PyTorch adalah salah satu framework yang paling banyak digunakan untuk mengembangkan dan menerapkan model kecerdasan buatan, sehingga kompatibilitas menjadi semakin penting bagi perusahaan mana pun yang berharap bersaing dengan Nvidia.
Google mengatakan beban kerja PyTorch yang sudah ada dapat berjalan di TPU dengan perubahan kode minimal sambil tetap mempertahankan API dan alat pengembangan yang familiar.
TorchTPU juga terintegrasi dengan perangkat lunak AI yang banyak digunakan termasuk Hugging Face, vLLM, SGLang, Ray, dan TorchTitan.
Bagi pengembang, pentingnya perubahan itu bukan sekadar teknis.
Memindahkan beban kerja machine learning yang sudah ada dari satu ekosistem perangkat keras ke ekosistem lain secara tradisional melibatkan pekerjaan teknik, pengujian kompatibilitas, dan optimisasi. Biaya migrasi tersebut membantu menciptakan penguncian perangkat keras.
Google berusaha mengurangi hambatan itu.
Jika pengembang dapat memindahkan model antara GPU dan TPU tanpa membangun ulang sebagian besar tumpukan perangkat lunak mereka, pemilihan perangkat keras menjadi lebih berfokus pada harga, ketersediaan, dan performa, bukan hanya kompatibilitas perangkat lunak.
Amazon Mengambil Jalur Serupa dengan TorchNeuron
Amazon Web Services menjalankan strategi yang hampir sama persis dengan TorchNeuron.
AWS meluncurkan beta publik TorchNeuron sebagai backend native PyTorch sumber terbuka untuk keluarga akselerator AI Trainium-nya.
Menurut AWS, pengembang dapat memindahkan kode PyTorch ke Trainium melalui perubahan konfigurasi, bukan menulis ulang model mereka di sekitar framework terpisah.
TorchNeuron mendukung API PyTorch standar, eager execution, dan torch.compile, sambil juga memungkinkan pengembang mengoptimalkan beban kerja secara khusus untuk perangkat keras Trainium.
Perangkat lunak ini saat ini mendukung instans Amazon EC2 yang didukung oleh chip Trainium2 dan Trainium3.
Ini penting karena AWS telah berinvestasi besar dalam prosesor kustom sebagai alternatif untuk membeli seluruh kapasitas komputasi AI-nya dari pemasok chip eksternal.
Trainium memberi Amazon lebih banyak kontrol atas ekonomi infrastruktur cloud-nya. Namun meyakinkan pelanggan untuk menggunakan prosesor itu membutuhkan lebih dari sekadar perangkat keras yang kompetitif.
Pengembang membutuhkan perangkat lunak yang cocok dengan alur kerja mereka yang sudah ada.
TorchNeuron dirancang untuk menutup kesenjangan itu.
Mengapa PyTorch Sangat Penting dalam Pertarungan Chip AI
Persaingan saat ini dalam perangkat keras AI semakin menjadi pertarungan perangkat lunak.
Nvidia menghabiskan bertahun-tahun untuk membuat CUDA terintegrasi secara mendalam ke dalam pengembangan machine learning. Pustaka, alat optimisasi, dan keahlian pengembang semuanya tumbuh di sekitar ekosistem itu.
Itu menciptakan apa yang oleh ekonom sering disebut sebagai biaya perpindahan.
Sebuah akselerator pesaing secara teori dapat memberikan performa yang menarik atau biaya yang lebih rendah, tetapi perusahaan mungkin tetap memilih Nvidia jika memindahkan beban kerja memerlukan upaya teknik selama berminggu-minggu.
Dukungan native PyTorch mengubah persamaan itu.
Baik Google maupun Amazon berusaha membuat perangkat keras mereka terasa bukan sebagai platform terpisah, melainkan sebagai target perangkat lain di dalam lingkungan PyTorch yang familier.
Bagi perusahaan AI besar yang menjalankan beban kerja sangat besar, bahkan peningkatan yang relatif kecil dalam fleksibilitas perangkat keras dapat memiliki konsekuensi finansial yang besar.
Alih-alih menempatkan setiap beban kerja pada satu arsitektur akselerator, perusahaan dapat mengarahkan model yang berbeda ke infrastruktur yang menawarkan ekonomi terbaik pada saat itu.
Moat CUDA Nvidia Menghadapi Jenis Persaingan yang Berbeda
Nvidia masih memiliki keunggulan yang signifikan.
GPU-nya tetap banyak digunakan dalam pelatihan dan inferensi AI, dan ekosistem CUDA-nya mencakup bertahun-tahun perangkat lunak yang dioptimalkan, dokumentasi, dan pengetahuan pengembang.
Karena itu, Google dan Amazon kemungkinan tidak akan menghapus keunggulan perangkat lunak Nvidia dalam semalam.
Namun, sifat persaingannya sedang berubah.
Secara historis, para penantang sering kali mencoba mengalahkan Nvidia terutama melalui spesifikasi perangkat keras. Kini, para hyperscaler semakin memahami bahwa silikon yang kompetitif saja tidak cukup.
Mereka juga harus membuat migrasi menjadi mudah.
Reuters sebelumnya melaporkan bahwa TorchNeuron milik Amazon dimaksudkan untuk mengurangi jumlah langkah yang perlu dilakukan pengembang sebelum menguji Trainium, sementara Google telah bekerja agar TPU lebih mudah diakses oleh pengembang yang sudah menggunakan PyTorch.
Itu menjadikan pengalaman pengembang sebagai senjata strategis.
Inferensi AI Bisa Membuat Pilihan Perangkat Keras Lebih Penting
Waktunya sangat penting karena pasar AI berkembang melampaui pelatihan model dasar yang sangat besar.
Inferensi — menjalankan sistem AI secara nyata dan melayani permintaan pengguna — menjadi bagian yang semakin penting dari permintaan komputasi.
Beban kerja inferensi dapat sangat bervariasi dalam ukuran, kebutuhan latensi, dan sensitivitas biaya.
Itu menciptakan peluang bagi prosesor alternatif.
Sebuah perusahaan yang melatih model frontier mungkin memprioritaskan performa maksimum dan ekosistem perangkat lunak yang matang. Bisnis yang melayani jutaan permintaan inferensi yang lebih kecil mungkin lebih peduli pada biaya per token, konsumsi energi, atau ketersediaan infrastruktur.
Semakin luas rentang beban kerja AI, semakin sulit bagi satu arsitektur chip untuk mendominasi setiap kasus penggunaan.
Itulah salah satu alasan perusahaan teknologi besar mengembangkan akselerator mereka sendiri.
Google memiliki TPU.
Amazon memiliki Trainium.
Meta telah mengembangkan prosesor MTIA miliknya.
Perusahaan AI lain juga sedang menjajaki silikon kustom seiring pengeluaran infrastruktur terus meningkat.
Nvidia tetap menjadi pemimpin pasar, tetapi industri bergerak menuju lingkungan komputasi yang lebih heterogen.
Sumber Terbuka Bisa Mempercepat Peralihan
Aspek lain yang menonjol dari TorchTPU dan TorchNeuron adalah keduanya dirilis sebagai perangkat lunak sumber terbuka.
Itu memberi pengembang visibilitas yang lebih besar terhadap alat-alatnya dan memungkinkan kontribusi eksternal.
Ini juga dapat membantu Google dan Amazon meyakinkan perusahaan bahwa menggunakan perangkat keras mereka tidak otomatis berarti terjebak dalam ekosistem perangkat lunak tertutup lainnya.
AWS mengatakan model yang dilatih menggunakan Trainium dapat disimpan sebagai checkpoint standar dan dipindahkan ke perangkat keras lain yang didukung.
Google juga memposisikan TorchTPU di sekitar pilihan perangkat keras dan kompatibilitas di seluruh alat AI yang sudah ada.
Posisi ini penting.
Pengembang kemungkinan tidak akan menerima keberagaman perangkat keras jika berpindah dari Nvidia hanya mengganti satu bentuk penguncian dengan yang lain.
Dengan menekankan kompatibilitas PyTorch dan alat terbuka, para hyperscaler justru mempresentasikan akselerator kustom sebagai infrastruktur yang dapat dipertukarkan.
Apa Artinya Ini bagi Pengembang AI
Bagi tim AI, persaingan perangkat keras yang meningkat pada akhirnya dapat berarti lebih banyak pilihan.
Pengembang mungkin dapat membandingkan GPU Nvidia, TPU Google, dan Trainium AWS berdasarkan karakteristik beban kerja tertentu alih-alih dipaksa tetap di satu platform karena ketergantungan perangkat lunak.
Itu bisa berdampak pada:
biaya pelatihan AI
harga inferensi
ketersediaan infrastruktur cloud
efisiensi energi
fleksibilitas penerapan
daya tawar dengan penyedia cloud
Ini juga dapat mendorong penetapan harga yang lebih agresif ketika para hyperscaler berusaha menarik beban kerja ke perangkat keras milik mereka sendiri.
AWS sudah berargumen bahwa Trainium dapat menawarkan ekonomi biaya yang menarik untuk beban kerja AI tertentu, sementara Google terus memperluas ketersediaan TPU melalui Google Cloud.
Semakin mudah chip-chip itu digunakan, semakin kredibel pula klaim-klaim tersebut di mata pengembang yang mengevaluasi alternatif.
Apakah Google dan Amazon Benar-Benar Bisa Mengancam Nvidia?
Nvidia kemungkinan tidak akan kehilangan posisinya hanya karena para pesaing meningkatkan kompatibilitas PyTorch.
Roadmap perangkat keras, pustaka perangkat lunak, dan komunitas pengembangnya tetap menjadi keunggulan kompetitif yang besar.
Namun Google dan Amazon mungkin tidak perlu menggantikan Nvidia untuk mengubah pasar.
Bahkan merebut porsi beban kerja yang lebih besar di dalam platform cloud mereka sendiri akan mengurangi ketergantungan mereka pada perangkat keras Nvidia dan menciptakan persaingan yang berarti dalam infrastruktur AI.
Yang lebih penting, hal itu melemahkan asumsi bahwa pengembang AI harus membangun di sekitar satu ekosistem perangkat keras.
Tahap berikutnya dari perang chip AI mungkin akan ditentukan sama besar oleh portabilitas perangkat lunak seperti oleh performa prosesor mentah.
TorchTPU milik Google dan TorchNeuron milik Amazon adalah contoh awal dari pergeseran itu.
Bagi Nvidia, tantangan kompetitifnya menjadi jelas: para rival tidak lagi hanya mencoba membuat chip yang lebih baik.
Mereka mencoba membuat keluar dari Nvidia menjadi lebih mudah.
Penafian: Artikel ini disediakan hanya untuk tujuan informasi. Artikel ini tidak ditawarkan atau dimaksudkan sebagai nasihat hukum, pajak, investasi, keuangan, atau nasihat lainnya.