【Mengapa Marl naik setengah nilai pasar Ethereum dalam dua hari? Pahami dengan satu artikel apa yang dikatakan Huang: Bottleneck berikutnya untuk pusat data AI didefinisikan sebagai connectivity / interconnect, yaitu konektivitas, interkoneksi optik, switching, dan XPU yang disesuaikan】
1. connectivity / interconnect = interkoneksi (inti dari seluruh bottleneck)
Pelatihan model AI skala besar tidak dikerjakan oleh satu kartu grafis saja; ratusan hingga puluhan ribu GPU digabung menjadi satu klaster.
Daya komputasi bergantung pada GPU/XPU, sedangkan data ditransmisikan bolak-balik melalui jalur interkoneksi.
Dulu bottleneck-nya adalah: GPU tidak cukup, performa chip tidak memadai.
Sekarang bottleneck-nya berubah menjadi: data antargPU terlalu lambat, jaringan macet → itulah bottleneck interkoneksi.
2. Interkoneksi optik (modul optik)
Sebelumnya menggunakan kabel listrik untuk sinyal telekomunikasi, batas kecepatannya rendah dan menghasilkan panas besar;
interkoneksi optik = mengirim data menggunakan cahaya di serat optik. Ini adalah satu-satunya solusi interkoneksi berkecepatan tinggi untuk superkomputer / ruang server AI saat ini:
server → switch terhubung lewat modul optik, dan jaringan skala besar untuk klaster AI sangat bergantung padanya.
Semakin banyak daya komputasi ditumpuk, kebutuhan modul optik melonjak tajam, dan iterasi spesifikasinya berlangsung sangat cepat—menjadi bottleneck yang wajib.
3. Switching (switch)
Analognya seperti router di rumah, tetapi di pusat data itu adalah switch skala raksasa berkecepatan puluhan ribu/sepuluh ribu gigabit:
Semua data dari GPU terkumpul dan diteruskan lewat switch; untuk data yang sangat masif, kebutuhan bandwidth dan latensi switch untuk AI meningkat secara ekstrem.
Jika switch tidak mampu, seberapa pun banyak GPU yang ditambah pun tetap berputar tanpa bisa memaksimalkan komputasi.
4. XPU yang disesuaikan
GPU: kartu grafis serbaguna dari NVIDIA
XPU: beragam chip komputasi khusus yang disesuaikan (DPU/TPU/ASIC, dll.)
Untuk mengatasi kemacetan interkoneksi, saat ini vendor tidak lagi hanya menumpuk GPU serbaguna:
Membuat DPU (data processor): mengambil alih tugas interkoneksi jaringan secara khusus, membebaskan GPU dari urusan kirim-terima data agar bisa fokus menghitung AI;
Mengembangkan TPU/ASIC chip kustom: antarmuka interkoneksi berkecepatan tinggi diintegrasikan langsung di dalam chip;
Mengoptimalkan efisiensi interkoneksi dari level dasar perangkat keras melalui chip kustom.
1. connectivity / interconnect = interkoneksi (inti dari seluruh bottleneck)
Pelatihan model AI skala besar tidak dikerjakan oleh satu kartu grafis saja; ratusan hingga puluhan ribu GPU digabung menjadi satu klaster.
Daya komputasi bergantung pada GPU/XPU, sedangkan data ditransmisikan bolak-balik melalui jalur interkoneksi.
Dulu bottleneck-nya adalah: GPU tidak cukup, performa chip tidak memadai.
Sekarang bottleneck-nya berubah menjadi: data antargPU terlalu lambat, jaringan macet → itulah bottleneck interkoneksi.
2. Interkoneksi optik (modul optik)
Sebelumnya menggunakan kabel listrik untuk sinyal telekomunikasi, batas kecepatannya rendah dan menghasilkan panas besar;
interkoneksi optik = mengirim data menggunakan cahaya di serat optik. Ini adalah satu-satunya solusi interkoneksi berkecepatan tinggi untuk superkomputer / ruang server AI saat ini:
server → switch terhubung lewat modul optik, dan jaringan skala besar untuk klaster AI sangat bergantung padanya.
Semakin banyak daya komputasi ditumpuk, kebutuhan modul optik melonjak tajam, dan iterasi spesifikasinya berlangsung sangat cepat—menjadi bottleneck yang wajib.
3. Switching (switch)
Analognya seperti router di rumah, tetapi di pusat data itu adalah switch skala raksasa berkecepatan puluhan ribu/sepuluh ribu gigabit:
Semua data dari GPU terkumpul dan diteruskan lewat switch; untuk data yang sangat masif, kebutuhan bandwidth dan latensi switch untuk AI meningkat secara ekstrem.
Jika switch tidak mampu, seberapa pun banyak GPU yang ditambah pun tetap berputar tanpa bisa memaksimalkan komputasi.
4. XPU yang disesuaikan
GPU: kartu grafis serbaguna dari NVIDIA
XPU: beragam chip komputasi khusus yang disesuaikan (DPU/TPU/ASIC, dll.)
Untuk mengatasi kemacetan interkoneksi, saat ini vendor tidak lagi hanya menumpuk GPU serbaguna:
Membuat DPU (data processor): mengambil alih tugas interkoneksi jaringan secara khusus, membebaskan GPU dari urusan kirim-terima data agar bisa fokus menghitung AI;
Mengembangkan TPU/ASIC chip kustom: antarmuka interkoneksi berkecepatan tinggi diintegrasikan langsung di dalam chip;
Mengoptimalkan efisiensi interkoneksi dari level dasar perangkat keras melalui chip kustom.