Data pengujian Agent DeepSeek (DSH) menyimpan sinyal tentang jalur perangkat keras.
Beberapa angka kunci:
- konsumsi token sangat besar, tingkat keberhasilan cache KV menjadi fokus pembahasan
- dengan tugas yang sama, waktu DSH adalah 2 kali GPT/Claude
"2 kali" ini, banyak orang hanya melihatnya sebagai perbedaan performa, padahal itu adalah petunjuk penting jalur perangkat keras.
Apa bottleneck era Agent?
Bukan komputasi, melainkan bandwidth memori.
Bekerja sebagai Agent = konteks yang sangat panjang = pembacaan/penulisan berulang cache KV dalam jumlah masif.
Semakin panjang konteksnya, semakin besar cache KV, dan semakin lambat pembacaannya—
secepat apa pun chip komputasimu, data tidak bisa dipindahkan dari memori dengan cukup cepat, jadinya semuanya hanya menunggu.
Waktu DSH yang menjadi dua kali lipat pada dasarnya mempermalukan "tembok memori": ia memakai "akses memori yang lebih lambat" untuk ditukar dengan "biaya yang lebih rendah".
Itulah yang menjelaskan mengapa Chen Liwu (Intel) bersikeras pada tumpuk kemasan CPU + DRAM:
Solusi Nvidia adalah tumpuk kemasan GPU + HBM (teknologi CoWoS),
memposisikan unit komputasi menempel dekat dengan memori sehingga jarak pemindahan data dari "level sentimeter" turun ke "level mikrometer"—bandwidth pun melonjak.
Chen Liwu melihat hal yang sama, tetapi diterapkan pada CPU:
Setelah adopsi Agent meluas, CPU menanggung banyak inferensi dan penjadwalan, dan tetap harus berjalan menempel pada memori.
Meningkatnya adopsi Agent akan mempercepat kedatangan era "CPU/GPU 1:1":
- Sekarang: GPU pusat data adalah tokoh utama, CPU hanya figuran
- Era Agent: di dekat setiap GPU harus ada CPU yang kuat untuk menangani penjadwalan, loop Agent, dan manajemen KV
- Saat itu CPU juga harus seperti GPU: kemasan tumpuk CPU + HBM
Apa artinya (dari sudut pandang investasi):
1. Teknologi kemasan = mata rantai paling menjepit berikutnya
CoWoS, tumpuk 2.5D/3D, dan hybrid bonding—proses kemasan ini adalah titik kompetisi persenjataan perangkat keras AI yang baru
2. Penetapan ulang harga oleh produsen memori
HBM sudah laris manis; jika CPU juga perlu HBM, ruang imajinasi produsen DRAM naik lagi satu tingkat
3. "taruhan yang tidak sejalur" Intel berpotensi berbalik
Pasar menyorot Nvidia, tetapi Chen Liwu bertaruh pada tumpuk CPU + DRAM—taruhan pada "kurva kedua" era Agent
Kalimat terakhir:
Tagihan token Agent sedang mendefinisikan ulang perangkat keras—
ketika "kecepatan baca" lebih berharga daripada "kecepatan komputasi", chip yang menempel pada memori, dialah pemenangnya.
Babak pertama dari perlombaan persenjataan komputasi adalah GPU,
babak berikutnya adalah kemasan.
#DeepSeek #DSH #封装 #HBM
Beberapa angka kunci:
- konsumsi token sangat besar, tingkat keberhasilan cache KV menjadi fokus pembahasan
- dengan tugas yang sama, waktu DSH adalah 2 kali GPT/Claude
"2 kali" ini, banyak orang hanya melihatnya sebagai perbedaan performa, padahal itu adalah petunjuk penting jalur perangkat keras.
Apa bottleneck era Agent?
Bukan komputasi, melainkan bandwidth memori.
Bekerja sebagai Agent = konteks yang sangat panjang = pembacaan/penulisan berulang cache KV dalam jumlah masif.
Semakin panjang konteksnya, semakin besar cache KV, dan semakin lambat pembacaannya—
secepat apa pun chip komputasimu, data tidak bisa dipindahkan dari memori dengan cukup cepat, jadinya semuanya hanya menunggu.
Waktu DSH yang menjadi dua kali lipat pada dasarnya mempermalukan "tembok memori": ia memakai "akses memori yang lebih lambat" untuk ditukar dengan "biaya yang lebih rendah".
Itulah yang menjelaskan mengapa Chen Liwu (Intel) bersikeras pada tumpuk kemasan CPU + DRAM:
Solusi Nvidia adalah tumpuk kemasan GPU + HBM (teknologi CoWoS),
memposisikan unit komputasi menempel dekat dengan memori sehingga jarak pemindahan data dari "level sentimeter" turun ke "level mikrometer"—bandwidth pun melonjak.
Chen Liwu melihat hal yang sama, tetapi diterapkan pada CPU:
Setelah adopsi Agent meluas, CPU menanggung banyak inferensi dan penjadwalan, dan tetap harus berjalan menempel pada memori.
Meningkatnya adopsi Agent akan mempercepat kedatangan era "CPU/GPU 1:1":
- Sekarang: GPU pusat data adalah tokoh utama, CPU hanya figuran
- Era Agent: di dekat setiap GPU harus ada CPU yang kuat untuk menangani penjadwalan, loop Agent, dan manajemen KV
- Saat itu CPU juga harus seperti GPU: kemasan tumpuk CPU + HBM
Apa artinya (dari sudut pandang investasi):
1. Teknologi kemasan = mata rantai paling menjepit berikutnya
CoWoS, tumpuk 2.5D/3D, dan hybrid bonding—proses kemasan ini adalah titik kompetisi persenjataan perangkat keras AI yang baru
2. Penetapan ulang harga oleh produsen memori
HBM sudah laris manis; jika CPU juga perlu HBM, ruang imajinasi produsen DRAM naik lagi satu tingkat
3. "taruhan yang tidak sejalur" Intel berpotensi berbalik
Pasar menyorot Nvidia, tetapi Chen Liwu bertaruh pada tumpuk CPU + DRAM—taruhan pada "kurva kedua" era Agent
Kalimat terakhir:
Tagihan token Agent sedang mendefinisikan ulang perangkat keras—
ketika "kecepatan baca" lebih berharga daripada "kecepatan komputasi", chip yang menempel pada memori, dialah pemenangnya.
Babak pertama dari perlombaan persenjataan komputasi adalah GPU,
babak berikutnya adalah kemasan.
#DeepSeek #DSH #封装 #HBM