Google développe des solutions logicielles et matérielles pour faire face aux goulets d’étranglement liés à la mémoire, a déclaré Nikhil Cherian, directeur senior des infrastructures de la chaîne d’approvisionnement. D’après ChainCatcher, l’entreprise démonte aussi des serveurs mis à la retraite afin de récupérer des composants DDR4 et de construire une chaîne d’approvisionnement interne de recyclage.

Cherian a déclaré que l’industrie de l’IA a évolué rapidement, passant d’un modèle limité par la puissance de calcul à un modèle limité par la mémoire, avec une mémoire haute performance représentant environ 75 % du coût des composants (bill of materials) d’un serveur d’IA donné. Goldman Sachs a indiqué que les prix de la mémoire devraient continuer à augmenter au troisième trimestre : les prix des PC DRAM devraient progresser de 18 % à 23 %, et les prix des serveurs DRAM de 13 % à 18 %.

Les données de Trendforce ont montré qu’en août, les prix spot du DDR4 8 Go et du DDR5 8 Go ont atteint respectivement 142 $ et 133 $. Google a également conçu des adaptateurs matériels spéciaux qui connectent le DDR4 des générations précédentes aux serveurs d’IA de prochaine génération, et importe des serveurs mis à la retraite afin de retirer et recycler leurs modules DDR4.

La société a indiqué que deux ASIC TPU lancés cette année ont été optimisés pour la mémoire et pourraient réduire la demande en mémoire à un sixième des niveaux précédents. Son chip TPU8i utilise une conception dédiée de mémoire en couches, s’appuie sur une architecture mémoire DDR5 à haute vitesse pour les tâches au niveau hôte et inclut 288 Go de mémoire à haut débit HBM3e par puce.