Google está desarrollando soluciones de software y hardware para abordar los cuellos de botella de la memoria, según Nikhil Cherian, director senior de infraestructura de la cadena de suministro. Según ChainCatcher, la empresa también está desmontando servidores retirados para recuperar componentes DDR4 y construir una cadena interna de suministro para reciclaje.

Cherian dijo que la industria de la IA ha cambiado rápidamente de estar limitada por la capacidad de cómputo a estar limitada por la memoria, con una memoria de alto rendimiento que representa aproximadamente el 75% del costo de la lista de materiales de un servidor de IA dado. Goldman Sachs dijo que se espera que los precios de la memoria sigan subiendo en el tercer trimestre, con precios de DRAM para PC pronosticados para aumentar entre un 18% y un 23%, y precios de DRAM para servidores entre un 13% y un 18%.

Los datos de Trendforce mostraron que en agosto los precios spot de DDR4 de 8GB y de DDR5 de 8GB subieron a 142 y 133 dólares, respectivamente. Google también ha diseñado adaptadores de hardware especiales que conectan DDR4 de generaciones anteriores con servidores de IA de la próxima generación e importa servidores retirados para eliminar y reciclar sus módulos DDR4.

La empresa dijo que dos TPU ASIC lanzados este año fueron optimizados para la memoria y podrían reducir la demanda de memoria a una sexta parte de los niveles anteriores. Su chip TPU8i utiliza un diseño de memoria en capas dedicado, se basa en una arquitectura de memoria DDR5 de alta velocidad para tareas a nivel de host e incluye 288GB de memoria de alto ancho de banda HBM3e por chip.