A SK Hynix acabou de apontar o verdadeiro gargalo da IA — e ele já não é mais o poder de computação.
No fórum da Dell, o vice-presidente de arquitetura de sistemas disse que a largura de banda da memória agora determina o desempenho geral da IA mais do que o poder bruto das GPUs. LLMs já movimentam volumes massivos de dados. Cargas de trabalho agentic e janelas de contexto mais longas empurram a taxa de throughput de tokens de dezenas por segundo em direção a centenas ou até milhares.
A HBM evoluiu rápido, de Gen 1 até HBM4, mas a SK diz que isso já não é suficiente para os próximos sistemas agentic. Empilhar memória diretamente na GPU poderia destravar larguras de banda muito maiores, mas limites térmicos tornam esse caminho difícil. A outra pressão é a energia — a maior parte da potência vai para mover dados, não para computar. É por isso que as pesquisas de processamento na memória continuam avançando.
A pool de memória via CXL está sendo implementada para reduzir o tempo ocioso da GPU e melhorar a eficiência de custos. Ganhos de eficiência em outras frentes, inclusive melhorias algorítmicas, seguiram o paradoxo de Jevons: em vez de reduzir, eles aumentaram a demanda total por memória.
O padrão é claro. A computação continua avançando. O sistema está cada vez mais limitado pela rapidez e pela eficiência com que você consegue fornecer dados. Essa é a restrição que está moldando os próximos investimentos em infraestrutura de IA.
No fórum da Dell, o vice-presidente de arquitetura de sistemas disse que a largura de banda da memória agora determina o desempenho geral da IA mais do que o poder bruto das GPUs. LLMs já movimentam volumes massivos de dados. Cargas de trabalho agentic e janelas de contexto mais longas empurram a taxa de throughput de tokens de dezenas por segundo em direção a centenas ou até milhares.
A HBM evoluiu rápido, de Gen 1 até HBM4, mas a SK diz que isso já não é suficiente para os próximos sistemas agentic. Empilhar memória diretamente na GPU poderia destravar larguras de banda muito maiores, mas limites térmicos tornam esse caminho difícil. A outra pressão é a energia — a maior parte da potência vai para mover dados, não para computar. É por isso que as pesquisas de processamento na memória continuam avançando.
A pool de memória via CXL está sendo implementada para reduzir o tempo ocioso da GPU e melhorar a eficiência de custos. Ganhos de eficiência em outras frentes, inclusive melhorias algorítmicas, seguiram o paradoxo de Jevons: em vez de reduzir, eles aumentaram a demanda total por memória.
O padrão é claro. A computação continua avançando. O sistema está cada vez mais limitado pela rapidez e pela eficiência com que você consegue fornecer dados. Essa é a restrição que está moldando os próximos investimentos em infraestrutura de IA.