ニキル・チェリアン氏(サプライチェーン基盤のシニア・ディレクター)によると、Googleはメモリのボトルネックに対処するためのソフトウェアとハードウェアのソリューションを開発している。ChainCatcherによれば、同社は退役したサーバーを解体してDDR4コンポーネントを回収し、社内のリサイクル供給チェーンを構築しているという。

チェリアン氏は、AI業界は計算能力が制約となる状態から、メモリが制約となる状態へと急速に移行しており、特定のAIサーバーにおける部品表(ボム)のコストの約75%は高性能メモリの費用が占めていると述べた。ゴールドマン・サックスは、第3四半期にメモリ価格が上昇し続ける見通しであり、PCのDRAM価格は18%から23%上昇し、サーバーのDRAM価格は13%から18%上昇すると予想している。

Trendforceのデータによると、8月にはDDR4 8GBとDDR5 8GBのスポット価格がそれぞれ142ドルと133ドルまで上昇した。さらにGoogleは、旧世代のDDR4を次世代のAIサーバーに接続する特別なハードウェア・アダプターも設計しており、退役したサーバーを輸入してDDR4モジュールを取り外し、回収・リサイクルしている。

同社は、今年投入された2つのTPU ASICがメモリ向けに最適化されており、メモリ需要を従来の1/6にまで削減できると述べた。TPU8iチップは専用の積層メモリ設計を採用し、ホスト側のタスクには高速なDDR5メモリアーキテクチャに依存している。また、各チップあたり288GBのHBM3e高帯域メモリを搭載している。