O Google está desenvolvendo soluções de software e hardware para lidar com gargalos de memória, de acordo com Nikhil Cherian, diretor sênior de infraestrutura da cadeia de suprimentos. Segundo o ChainCatcher, a empresa também está desmontando servidores aposentados para recuperar componentes DDR4 e construir uma cadeia interna de reciclagem para fornecimento.

Cherian disse que a indústria de IA mudou rapidamente de ser limitada por capacidade de computação para ser limitada por memória, com a memória de alto desempenho representando cerca de 75% do custo da lista de materiais (bill of materials) de um servidor de IA. O Goldman Sachs afirmou que os preços da memória devem continuar subindo no terceiro trimestre, com os preços de PC DRAM previstos para aumentar entre 18% e 23% e os preços de server DRAM entre 13% e 18%.

Os dados da Trendforce mostraram que, em agosto, os preços spot para DDR4 de 8 GB e DDR5 de 8 GB subiram para US$ 142 e US$ 133, respectivamente. O Google também projetou adaptadores de hardware especiais que conectam DDR4 de gerações anteriores a servidores de IA da próxima geração e importa servidores aposentados para remover e reciclar seus módulos de DDR4.

A empresa disse que dois ASICs TPU lançados este ano foram otimizados para memória e poderiam reduzir a demanda por memória para um sexto dos níveis anteriores. Seu chip TPU8i usa uma arquitetura dedicada de memória em camadas, baseia-se em uma arquitetura de memória DDR5 de alta velocidade para tarefas no nível do host e inclui 288 GB de memória de alta largura de banda HBM3e por chip.