Google entwickelt Software- und Hardwarelösungen, um Speicherengpässe zu adressieren, so Nikhil Cherian, Senior Director für Supply-Chain-Infrastruktur. Laut ChainCatcher zerlegt das Unternehmen zudem ausgemusterte Server, um DDR4-Komponenten zurückzugewinnen und eine interne Recycling-Lieferkette aufzubauen.

Cherian sagte, dass sich die KI-Branche rasch von einer durch Rechenleistung begrenzten zu einer durch Speicher begrenzten Entwicklung verschoben habe. Hochleistungsfähiger Speicher mache dabei etwa 75 % der Stücklisten- (BOM-)Kosten eines bestimmten KI-Servers aus. Goldman Sachs erklärte, die Speicherkosten dürften im dritten Quartal weiter steigen: Für PC-DRAM werde ein Anstieg von 18 % bis 23 % erwartet, für Server-DRAM von 13 % bis 18 %.

Daten von Trendforce zeigten, dass im August die Spotpreise für DDR4 8GB und DDR5 8GB auf 142 USD bzw. 133 USD gestiegen sind. Google hat außerdem spezielle Hardware-Adapter entwickelt, die DDR4 der vorherigen Generation mit KI-Servern der nächsten Generation verbinden, und importiert stillgelegte Server, um deren DDR4-Module zu entfernen und zu recyceln.

Das Unternehmen sagte, dass zwei in diesem Jahr gestartete TPU-ASICs so optimiert wurden, dass sie den Speicherbedarf auf ein Sechstel des bisherigen Niveaus senken können. Der TPU8i-Chip verwendet ein spezielles, geschichtetes Speicherkonzept, setzt für auf Host-Ebene ausgeführte Aufgaben auf eine Hochgeschwindigkeits-DDR5-Speicherarchitektur und umfasst pro Chip 288 GB HBM3e-Speicher mit hoher Bandbreite.