Theo Nikhil Cherian, giám đốc điều hành cao cấp phụ trách hạ tầng chuỗi cung ứng, Google đang phát triển các giải pháp phần mềm và phần cứng để giải quyết các nút thắt về bộ nhớ. Theo ChainCatcher, công ty cũng đang tháo dỡ các máy chủ đã ngừng hoạt động để thu hồi các linh kiện DDR4 và xây dựng một chuỗi cung ứng tái chế nội bộ.

Cherian cho biết ngành công nghiệp AI đã chuyển dịch nhanh chóng từ tình trạng bị giới hạn bởi năng lực tính toán sang bị giới hạn bởi bộ nhớ, trong đó bộ nhớ hiệu năng cao chiếm khoảng 75% chi phí bảng vật liệu của một máy chủ AI nhất định. Goldman Sachs cho biết giá bộ nhớ dự kiến tiếp tục tăng trong quý 3, với giá PC DRAM dự báo tăng 18% đến 23% và giá server DRAM tăng 13% đến 18%.

Dữ liệu của Trendforce cho thấy vào tháng 8, giá giao ngay của DDR4 8GB và DDR5 8GB lần lượt tăng lên 142 USD và 133 USD. Google cũng đã thiết kế các bộ chuyển đổi phần cứng đặc biệt để kết nối DDR4 của thế hệ trước với các máy chủ AI thế hệ tiếp theo và nhập khẩu các máy chủ đã ngừng sử dụng để loại bỏ, đồng thời tái chế các mô-đun DDR4 của chúng.

Công ty cho biết hai bộ xử lý TPU ASIC ra mắt trong năm nay được tối ưu cho bộ nhớ và có thể giảm nhu cầu bộ nhớ xuống còn một phần sáu so với các mức trước đó. Chip TPU8i của họ sử dụng thiết kế bộ nhớ phân lớp chuyên dụng, dựa trên kiến trúc bộ nhớ DDR5 tốc độ cao cho các tác vụ ở cấp máy chủ, và tích hợp 288GB bộ nhớ băng thông cao HBM3e cho mỗi chip.