$TRX $METAB $MU
Sebelum dan sesudah HBM: Menilik bandwidth, penumpukan, dan bottleneck pendinginan dari berbagai generasi HBM—mengapa packaging menjadi medan tempur kunci?
Salah satu dari tiga produsen memori terkemuka, Micron (MU), pada Hot Chips 2026 menyampaikan pidato yang terus terang: performa komputasi AI tumbuh 3 kali setiap dua tahun, melampaui laju ekspansi bandwidth HBM yang per tahun kurang dari 2 kali. Akibatnya, “memory wall (dinding memori)” terus memburuk. Dalam proses pelatihan Meta Llama 3, terdapat paparan cacat HBM hingga 17% akibat gangguan yang tidak terduga, sehingga makin memperparah krisis keandalan memori. Micron khawatir bahwa tanpa inovasi disruptif pada tiga lapisan—proses manufaktur, packaging, dan desain IO—jalur HBM saat ini kemungkinan akan menghadapi batas fisik lebih cepat.
Ringkasan poin penting: Laju pertumbuhan performa komputasi AI (3 kali per dua tahun) terus menekan bandwidth HBM (kurang dari 2 kali per dua tahun), dan memory wall terus memburuk. Dalam pelatihan Meta Llama 3, sekitar 17% gangguan tak terduga disebabkan kegagalan HBM. Pada packaging akselerator AI yang tipikal, luas area silikon HBM lebih besar 8 kali dibanding GPU. Bandwidth HBM4 mencapai 2.800 GB/s, 15–17 kali lebih tinggi daripada DDR5, namun biaya silikon per unit kapasitas sekitar 3 kali DDR5. Semakin tinggi densitas, semakin buruk efisiensi energi—menumpuk stack saja tidak lagi menjadi solusi serba guna. Micron bertaruh pada teknologi packaging inovatif yang disruptif seperti Fusion Bonding, Glass Substrate, dan CPO untuk menembus batas.
Masalah saat ini sulit dipecahkan oleh satu perusahaan saja; perlu kolaborasi seluruh rantai industri: pemasok HBM, foundry/OSAT, desain SoC, perangkat lunak, serta komunitas akademik. (Mengapa pasar bull memori masih bisa naik lima tahun lagi? Tiga indikator untuk memahami perbedaan HBM, DRAM, dan NAND?)
Dari Scaling Law, posisi memori menjadi kunci: fondasi untuk meningkatkan efisiensi LLM
Micron terlebih dahulu mengutip paper riset OpenAI berjudul “Scaling Laws for Neural Language Models” sebagai pembuka. Dengan tiga kurva hukum pangkat, dijelaskan persoalan inti: loss uji LLM turun secara mulus seiring peningkatan komputasi, ukuran kumpulan data, dan jumlah parameter model; namun ketiganya harus diperluas secara bersamaan agar mencapai performa terbaik.
Gambar lini depan efisiensi komputasi
Dengan kata lain, memori bukan pemeran tambahan—melainkan salah satu variabel kunci yang menggerakkan kemajuan berkelanjutan LLM. Tanpa sinkronisasi ekspansi memori, peningkatan komputasi menjadi tidak efektif.
Memory wall sedang memburuk: bandwidth sulit mengejar pertumbuhan komputasi
Berdasarkan data produk nyata dari 2019 hingga 2027, performa komputasi GPU terus naik mengikuti A100, H100, MI300X, hingga B200, dengan laju pertumbuhan tetap sekitar 3 kali tiap dua tahun. Sementara itu, bandwidth HBM dari HBM2E ke HBM4 hanya tumbuh kurang dari 2 kali tiap dua tahun.
Memory wall: Kesenjangan lintasan pertumbuhan komputasi GPU antara 2017 hingga 2027
Efek pertumbuhan majemuk (compound) membuat setiap dua tahun kesenjangan kebutuhan memori terhadap komputasi ikut melebar 1,5 kali. Dalam jangka panjang, jurang yang terkumpul sangat signifikan.
Mengapa HBM sulit digantikan? Logika rekayasa Roofline Model
Micron menggunakan Roofline Model (model garis atap) untuk menjelaskan nilai inti HBM. Dalam pelatihan dan inferensi AI, sebagian besar operasi berada di “area memory bound (terbatas oleh memori)”, ketika prosesor tidak bisa bekerja secara optimal karena harus menunggu data tiba.
Roofline Model: HBM meningkatkan batas bandwidth sehingga garis atap bergeser ke atas, membuat beban kerja AI yang padat memori mencapai performa lebih tinggi
Peran HBM adalah mengangkat batas bandwidth secara keseluruhan, sehingga lebih banyak beban kerja AI masuk ke wilayah “kejenuhan komputasi” sebelum menyentuh batas memori, sehingga puncak performa teoretis GPU dapat dimaksimalkan.
Evolusi spesifikasi enam generasi HBM—sekilas dari “menyimpan berapa banyak” ke “mengirim seberapa cepat”
Sejak HBM diperkenalkan pada 2014, enam generasi utama menunjukkan lonjakan besar pada spesifikasi:
Tabel perbandingan spesifikasi HBM generasi ke-6: mencakup jumlah kanal, kecepatan data, bandwidth nominal, densitas DRAM, tinggi tumpukan, dan kapasitas Cube.
Laju data naik dari 1 Gbps menjadi 11 Gbps (11 kali). Bandwidth nominal melonjak dari 128 GB/s menjadi 2.800 GB/s (22 kali). HBM4 untuk pertama kalinya menggandakan jumlah Data I/O dari 1.024 jalur pada lima generasi sebelumnya menjadi 2.048 jalur—ini menjadi salah satu penyebab utama lonjakan bandwidth.
Perlu dicatat bahwa densitas DRAM per die HBM4 dan HBM3E sama-sama 24 Gb. Lompatan bandwidth HBM4 terutama berasal dari penggandaan IO dan peningkatan kecepatan data, bukan dari densitas die yang lebih tinggi. Ini menegaskan bahwa fokus kompetisi antar generasi HBM telah bergeser dari “menyimpan berapa banyak” ke “mengirim seberapa cepat”.
Luas silikon lebih dari 8 kali GPU: HBM sebagai “inti” akselerator AI yang sebenarnya
Micron juga menyoroti bahwa pada packaging akselerator AI tipikal yang dilengkapi 8 chip HBM4, luas area silikon memori adalah 8 kali luas GPU. Artinya, HBM justru merupakan komponen fisik dengan luas terbesar dalam area sebuah akselerator AI; die GPU malah hanya sedikit.
Perbandingan luas area silikon: bagian kiri menunjukkan SiP (System-In-Package) berisi 8 HBM4 mengelilingi 2 die GPU. Bagian kanan membandingkan luas area silikon GPU dan HBM4 (12-high); yang terakhir lebih besar dari yang pertama lebih dari 8 kali.
HBM vs. DDR5: bandwidth unggul 15 kali, tetapi biaya area silikonnya adalah 3 kali
Pada konfigurasi GPU yang tipikal, bandwidth total sistem HBM mencapai 5,3 TB/s, sedangkan DDR5 sekitar 300 GB/s—selisihnya kira-kira 16 kali. Untuk bandwidth per die, HBM3E 256 GB/s dibanding DDR5 8 GB/s, selisihnya semakin melebar menjadi 32 kali. AI high sequence access...
Sebelum dan sesudah HBM: Menilik bandwidth, penumpukan, dan bottleneck pendinginan dari berbagai generasi HBM—mengapa packaging menjadi medan tempur kunci?
Salah satu dari tiga produsen memori terkemuka, Micron (MU), pada Hot Chips 2026 menyampaikan pidato yang terus terang: performa komputasi AI tumbuh 3 kali setiap dua tahun, melampaui laju ekspansi bandwidth HBM yang per tahun kurang dari 2 kali. Akibatnya, “memory wall (dinding memori)” terus memburuk. Dalam proses pelatihan Meta Llama 3, terdapat paparan cacat HBM hingga 17% akibat gangguan yang tidak terduga, sehingga makin memperparah krisis keandalan memori. Micron khawatir bahwa tanpa inovasi disruptif pada tiga lapisan—proses manufaktur, packaging, dan desain IO—jalur HBM saat ini kemungkinan akan menghadapi batas fisik lebih cepat.
Ringkasan poin penting: Laju pertumbuhan performa komputasi AI (3 kali per dua tahun) terus menekan bandwidth HBM (kurang dari 2 kali per dua tahun), dan memory wall terus memburuk. Dalam pelatihan Meta Llama 3, sekitar 17% gangguan tak terduga disebabkan kegagalan HBM. Pada packaging akselerator AI yang tipikal, luas area silikon HBM lebih besar 8 kali dibanding GPU. Bandwidth HBM4 mencapai 2.800 GB/s, 15–17 kali lebih tinggi daripada DDR5, namun biaya silikon per unit kapasitas sekitar 3 kali DDR5. Semakin tinggi densitas, semakin buruk efisiensi energi—menumpuk stack saja tidak lagi menjadi solusi serba guna. Micron bertaruh pada teknologi packaging inovatif yang disruptif seperti Fusion Bonding, Glass Substrate, dan CPO untuk menembus batas.
Masalah saat ini sulit dipecahkan oleh satu perusahaan saja; perlu kolaborasi seluruh rantai industri: pemasok HBM, foundry/OSAT, desain SoC, perangkat lunak, serta komunitas akademik. (Mengapa pasar bull memori masih bisa naik lima tahun lagi? Tiga indikator untuk memahami perbedaan HBM, DRAM, dan NAND?)
Dari Scaling Law, posisi memori menjadi kunci: fondasi untuk meningkatkan efisiensi LLM
Micron terlebih dahulu mengutip paper riset OpenAI berjudul “Scaling Laws for Neural Language Models” sebagai pembuka. Dengan tiga kurva hukum pangkat, dijelaskan persoalan inti: loss uji LLM turun secara mulus seiring peningkatan komputasi, ukuran kumpulan data, dan jumlah parameter model; namun ketiganya harus diperluas secara bersamaan agar mencapai performa terbaik.
Gambar lini depan efisiensi komputasi
Dengan kata lain, memori bukan pemeran tambahan—melainkan salah satu variabel kunci yang menggerakkan kemajuan berkelanjutan LLM. Tanpa sinkronisasi ekspansi memori, peningkatan komputasi menjadi tidak efektif.
Memory wall sedang memburuk: bandwidth sulit mengejar pertumbuhan komputasi
Berdasarkan data produk nyata dari 2019 hingga 2027, performa komputasi GPU terus naik mengikuti A100, H100, MI300X, hingga B200, dengan laju pertumbuhan tetap sekitar 3 kali tiap dua tahun. Sementara itu, bandwidth HBM dari HBM2E ke HBM4 hanya tumbuh kurang dari 2 kali tiap dua tahun.
Memory wall: Kesenjangan lintasan pertumbuhan komputasi GPU antara 2017 hingga 2027
Efek pertumbuhan majemuk (compound) membuat setiap dua tahun kesenjangan kebutuhan memori terhadap komputasi ikut melebar 1,5 kali. Dalam jangka panjang, jurang yang terkumpul sangat signifikan.
Mengapa HBM sulit digantikan? Logika rekayasa Roofline Model
Micron menggunakan Roofline Model (model garis atap) untuk menjelaskan nilai inti HBM. Dalam pelatihan dan inferensi AI, sebagian besar operasi berada di “area memory bound (terbatas oleh memori)”, ketika prosesor tidak bisa bekerja secara optimal karena harus menunggu data tiba.
Roofline Model: HBM meningkatkan batas bandwidth sehingga garis atap bergeser ke atas, membuat beban kerja AI yang padat memori mencapai performa lebih tinggi
Peran HBM adalah mengangkat batas bandwidth secara keseluruhan, sehingga lebih banyak beban kerja AI masuk ke wilayah “kejenuhan komputasi” sebelum menyentuh batas memori, sehingga puncak performa teoretis GPU dapat dimaksimalkan.
Evolusi spesifikasi enam generasi HBM—sekilas dari “menyimpan berapa banyak” ke “mengirim seberapa cepat”
Sejak HBM diperkenalkan pada 2014, enam generasi utama menunjukkan lonjakan besar pada spesifikasi:
Tabel perbandingan spesifikasi HBM generasi ke-6: mencakup jumlah kanal, kecepatan data, bandwidth nominal, densitas DRAM, tinggi tumpukan, dan kapasitas Cube.
Laju data naik dari 1 Gbps menjadi 11 Gbps (11 kali). Bandwidth nominal melonjak dari 128 GB/s menjadi 2.800 GB/s (22 kali). HBM4 untuk pertama kalinya menggandakan jumlah Data I/O dari 1.024 jalur pada lima generasi sebelumnya menjadi 2.048 jalur—ini menjadi salah satu penyebab utama lonjakan bandwidth.
Perlu dicatat bahwa densitas DRAM per die HBM4 dan HBM3E sama-sama 24 Gb. Lompatan bandwidth HBM4 terutama berasal dari penggandaan IO dan peningkatan kecepatan data, bukan dari densitas die yang lebih tinggi. Ini menegaskan bahwa fokus kompetisi antar generasi HBM telah bergeser dari “menyimpan berapa banyak” ke “mengirim seberapa cepat”.
Luas silikon lebih dari 8 kali GPU: HBM sebagai “inti” akselerator AI yang sebenarnya
Micron juga menyoroti bahwa pada packaging akselerator AI tipikal yang dilengkapi 8 chip HBM4, luas area silikon memori adalah 8 kali luas GPU. Artinya, HBM justru merupakan komponen fisik dengan luas terbesar dalam area sebuah akselerator AI; die GPU malah hanya sedikit.
Perbandingan luas area silikon: bagian kiri menunjukkan SiP (System-In-Package) berisi 8 HBM4 mengelilingi 2 die GPU. Bagian kanan membandingkan luas area silikon GPU dan HBM4 (12-high); yang terakhir lebih besar dari yang pertama lebih dari 8 kali.
HBM vs. DDR5: bandwidth unggul 15 kali, tetapi biaya area silikonnya adalah 3 kali
Pada konfigurasi GPU yang tipikal, bandwidth total sistem HBM mencapai 5,3 TB/s, sedangkan DDR5 sekitar 300 GB/s—selisihnya kira-kira 16 kali. Untuk bandwidth per die, HBM3E 256 GB/s dibanding DDR5 8 GB/s, selisihnya semakin melebar menjadi 32 kali. AI high sequence access...
