Google sedang mengembangkan solusi perangkat lunak dan perangkat keras untuk mengatasi hambatan memori, menurut Nikhil Cherian, direktur senior infrastruktur rantai pasok. Menurut ChainCatcher, perusahaan ini juga membongkar server yang sudah pensiun untuk memulihkan komponen DDR4 dan membangun rantai pasok daur ulang internal.

Cherian mengatakan industri AI telah bergeser dengan cepat dari sebelumnya terbatasi komputasi menjadi terbatasi memori, dengan memori berperforma tinggi yang menyumbang sekitar 75% dari biaya daftar bahan (bill of materials) untuk sebuah server AI. Goldman Sachs mengatakan harga memori diperkirakan akan terus naik pada kuartal ketiga, dengan harga PC DRAM diproyeksikan meningkat 18% hingga 23% dan harga server DRAM 13% hingga 18%.

Data Trendforce menunjukkan bahwa pada Agustus, harga spot untuk DDR4 8GB dan DDR5 8GB naik menjadi $142 dan $133. Google juga telah merancang adaptor perangkat keras khusus yang menghubungkan DDR4 generasi sebelumnya ke server AI generasi berikutnya, serta mengimpor server pensiun untuk menghapus dan mendaur ulang modul DDR4 mereka.

Perusahaan mengatakan dua TPU ASIC yang diluncurkan tahun ini dioptimalkan untuk memori dan dapat menurunkan kebutuhan memori hingga seperenam dari level sebelumnya. Chip TPU8i menggunakan desain memori berlapis khusus, mengandalkan arsitektur memori DDR5 berkecepatan tinggi untuk tugas tingkat host, serta menyertakan 288GB memori pita lebar HBM3e untuk setiap chip.