SK Hynix baru saja mengungkap bottleneck AI yang sesungguhnya — dan itu bukan lagi komputasi.
Di forum Dell, VP arsitektur sistem mereka mengatakan bahwa bandwidth memori kini menentukan performa AI secara keseluruhan lebih dari sekadar kekuatan GPU mentah. LLM sudah memindahkan volume data yang sangat besar. Workload agentic dan context window yang lebih panjang mendorong throughput token dari puluhan per detik menjadi ratusan atau bahkan ribuan.
HBM telah berkembang cepat dari Gen 1 hingga HBM4, tetapi SK mengatakan itu kini tidak lagi cukup untuk sistem agentic generasi berikutnya. Menumpuk memori langsung di GPU berpotensi membuka bandwidth yang jauh lebih tinggi, namun batas termal membuat jalur itu sulit. Tekanan lainnya adalah efisiensi energi — sebagian besar daya digunakan untuk memindahkan data, bukan untuk komputasi. Itulah mengapa riset pemrosesan-dalam-memori terus maju.
Pooling memori melalui CXL sedang diterapkan untuk mengurangi waktu idle GPU dan meningkatkan efisiensi biaya. Keuntungan efisiensi di tempat lain, termasuk perbaikan algoritmik, mengikuti paradox Jevons: mereka justru meningkatkan kebutuhan memori total alih-alih menguranginya.
Polanya jelas. Komputasi terus maju. Sistem semakin dibatasi oleh seberapa cepat dan seberapa efisien Anda bisa menyuplai data. Itulah kendala yang membentuk gelombang belanja infrastruktur AI berikutnya.
Di forum Dell, VP arsitektur sistem mereka mengatakan bahwa bandwidth memori kini menentukan performa AI secara keseluruhan lebih dari sekadar kekuatan GPU mentah. LLM sudah memindahkan volume data yang sangat besar. Workload agentic dan context window yang lebih panjang mendorong throughput token dari puluhan per detik menjadi ratusan atau bahkan ribuan.
HBM telah berkembang cepat dari Gen 1 hingga HBM4, tetapi SK mengatakan itu kini tidak lagi cukup untuk sistem agentic generasi berikutnya. Menumpuk memori langsung di GPU berpotensi membuka bandwidth yang jauh lebih tinggi, namun batas termal membuat jalur itu sulit. Tekanan lainnya adalah efisiensi energi — sebagian besar daya digunakan untuk memindahkan data, bukan untuk komputasi. Itulah mengapa riset pemrosesan-dalam-memori terus maju.
Pooling memori melalui CXL sedang diterapkan untuk mengurangi waktu idle GPU dan meningkatkan efisiensi biaya. Keuntungan efisiensi di tempat lain, termasuk perbaikan algoritmik, mengikuti paradox Jevons: mereka justru meningkatkan kebutuhan memori total alih-alih menguranginya.
Polanya jelas. Komputasi terus maju. Sistem semakin dibatasi oleh seberapa cepat dan seberapa efisien Anda bisa menyuplai data. Itulah kendala yang membentuk gelombang belanja infrastruktur AI berikutnya.