SK hynix menargetkan kapasitas HBM sekitar 14 kali lipat dengan bandwidth kira-kira setengahnya melalui High Bandwidth Flash.
Namun, perkembangan yang lebih penting bukanlah spesifikasi utamanya.
Melainkan kemungkinan bahwa inferensi AI nantinya tidak lagi membutuhkan setiap byte memori berada di tingkat yang paling mahal.
Inferensi dengan konteks panjang dan agen multi-giliran menghasilkan cache KV yang sangat besar. Sebagian data perlu diakses GPU seketika. Data lainnya dapat disimpan lebih jauh dan diambil saat diperlukan.
HBF, DRAM gabungan, dan SSD bersama adalah berbagai pendekatan untuk memanfaatkan perbedaan tersebut.
Implikasi investasinya bukanlah bahwa NAND akan menggantikan HBM.
Melainkan, ekonomi memori mungkin akan semakin bergantung pada seberapa efektif sistem memindahkan data di antara berbagai tingkat, bukan sekadar seberapa banyak HBM yang dipasang.
Hal ini dapat memperluas peluang bagi pemasok NAND dan sistem memori, sekaligus menjadikan bandwidth interkoneksi, latensi pengambilan data, dan penjadwalan perangkat lunak semakin penting.
SK hynix menargetkan sampel HBF pada awal 2028. Adopsi komersialnya masih belum terbukti.
Ujian sebenarnya adalah biaya per token yang berhasil dilayani, termasuk biaya memori, pemindahan data, latensi, dan daya—bukan hanya kapasitas per chip.
#stocks
$SKHY.US
Namun, perkembangan yang lebih penting bukanlah spesifikasi utamanya.
Melainkan kemungkinan bahwa inferensi AI nantinya tidak lagi membutuhkan setiap byte memori berada di tingkat yang paling mahal.
Inferensi dengan konteks panjang dan agen multi-giliran menghasilkan cache KV yang sangat besar. Sebagian data perlu diakses GPU seketika. Data lainnya dapat disimpan lebih jauh dan diambil saat diperlukan.
HBF, DRAM gabungan, dan SSD bersama adalah berbagai pendekatan untuk memanfaatkan perbedaan tersebut.
Implikasi investasinya bukanlah bahwa NAND akan menggantikan HBM.
Melainkan, ekonomi memori mungkin akan semakin bergantung pada seberapa efektif sistem memindahkan data di antara berbagai tingkat, bukan sekadar seberapa banyak HBM yang dipasang.
Hal ini dapat memperluas peluang bagi pemasok NAND dan sistem memori, sekaligus menjadikan bandwidth interkoneksi, latensi pengambilan data, dan penjadwalan perangkat lunak semakin penting.
SK hynix menargetkan sampel HBF pada awal 2028. Adopsi komersialnya masih belum terbukti.
Ujian sebenarnya adalah biaya per token yang berhasil dilayani, termasuk biaya memori, pemindahan data, latensi, dan daya—bukan hanya kapasitas per chip.
#stocks
$SKHY.US