$TRX $METAB $MU
A pré-história e o futuro do HBM: do desempenho de cada geração de HBM em largura de banda, empilhamento e gargalos de refrigeração — por que o encapsulamento é o campo de batalha decisivo?
Uma das três maiores fabricantes de memória do mundo, a Micron (MU), apresentou uma palestra na Hot Chips 2026 em que reconheceu que o desempenho de computação da IA cresce 3 vezes a cada dois anos, uma expansão que supera a do aumento de largura de banda do HBM em menos de 2 vezes por ano. Como resultado, a “parede da memória (Memory Wall)” continua a piorar. Durante o treinamento do Meta Llama 3, falhas inesperadas chegaram a 17% e foram atribuídas às deficiências do HBM, intensificando ainda mais a crise de confiabilidade da memória. A Micron teme que, sem inovações disruptivas em três níveis — processo, encapsulamento e projeto de IO — a rota atual do HBM possa enfrentar limites físicos ainda mais rapidamente.
Resumo em destaque: o ritmo de crescimento do desempenho da IA (3 vezes a cada dois anos) continua a esmagar a largura de banda do HBM (menos de 2 vezes a cada dois anos); a parede da memória segue piorando. No treinamento do Meta Llama 3, cerca de 17% das interrupções inesperadas foram atribuídas a falhas do HBM. Em encapsulamentos típicos de aceleradores de IA, a área de silício do HBM é 8 vezes maior do que a do GPU. O HBM4 atinge 2.800 GB/s de largura de banda, 15 a 17 vezes mais do que o DDR5, mas o custo de área de silício por unidade de capacidade fica em torno de 3 vezes o do DDR5. Quanto maior a densidade, pior a eficiência energética; empilhar stacks já não é uma solução “mágica”. A Micron aposta em tecnologias de encapsulamento inovadoras e disruptivas como Fusion Bonding, Glass Substrate e CPO para abrir caminho.
O problema atual não pode ser resolvido por uma única empresa: é necessária colaboração em toda a cadeia da indústria — fornecedores de HBM, fundições/OSAT, projeto de SoC, software e comunidade acadêmica. (Por que o mercado de “vacas de memória” ainda pode continuar subindo por mais cinco anos? Três indicadores para entender as diferenças entre HBM, DRAM e NAND?)
Pelo Scaling Law, o papel da memória é central: a chave para expandir a eficiência de LLMs
A Micron começa citando o artigo de pesquisa da OpenAI “Scaling Laws for Neural Language Models” como introdução. Três gráficos com leis de potência explicam o cerne: a perda de teste do LLM diminui de forma suave conforme aumentam o poder de computação, o tamanho do conjunto de dados e a quantidade de parâmetros do modelo; e os três precisam crescer em conjunto para alcançar o melhor desempenho.
Imagem da fronteira em eficiência de computação
Em outras palavras, a memória não é um papel secundário, e sim uma das variáveis-chave que impulsionam o progresso contínuo dos LLMs. Sem expansão simultânea de memória, o aumento de computação se torna ineficaz.
A parede da memória está piorando: a largura de banda não consegue acompanhar o crescimento do poder de computação
Com dados reais de produtos entre 2019 e 2027, vê-se que a capacidade de computação dos GPUs — seguindo A100, H100, MI300X e B200 — mantém uma taxa de crescimento de cerca de 3 vezes a cada dois anos. Já a largura de banda do HBM, evoluindo de HBM2E para HBM4, cresce com menos de 2 vezes a cada dois anos.
Parede da memória: diferença nas trajetórias de crescimento da capacidade de computação dos GPUs entre 2017 e 2027
No efeito de juros compostos, a cada dois anos a lacuna de demanda de memória para acompanhar o poder de computação aumenta mais 1,5 vez; no longo prazo, o abismo acumulado é considerável.
Por que o HBM é difícil de substituir? A lógica de engenharia do Roofline Model
A Micron usa o Roofline Model (modelo da linha do teto) para explicar o valor central do HBM. Na IA de treinamento e inferência, grande parte dos cálculos cai na “zona de gargalo de memória (Memory Bound)”, em que o processador não consegue extrair desempenho enquanto espera os dados chegarem.
Roofline Model: ao elevar o limite máximo de largura de banda, o HBM desloca a “linha do teto” para cima, permitindo que cargas de trabalho de IA intensivas em memória atinjam um desempenho mais alto.
A função do HBM é elevar o teto de largura de banda global, fazendo com que mais cargas de trabalho de IA entrem na região de saturação de computação antes de tocar o limite de memória, liberando plenamente o pico teórico de desempenho do GPU.
Evolução das especificações das seis gerações do HBM: antes, “quanto guardar”; agora, “quão rápido transmitir”
Desde que o HBM surgiu em 2014, as seis gerações elevam significativamente especificações fundamentais:
Tabela de comparação das especificações do HBM (seis gerações): inclui número de canais, taxa de dados, largura de banda nominal, densidade de DRAM, altura de empilhamento e capacidade do Cube.
A taxa de dados subiu de 1 Gbps para 11 Gbps — crescimento de 11 vezes.
A largura de banda nominal saltou de 128 GB/s para 2.800 GB/s — crescimento de 22 vezes.
Pela primeira vez, o HBM4 dobra a quantidade de Data I/O de 1.024 das cinco gerações anteriores para 2.048 — um dos principais motivos para o grande salto de largura de banda.
Vale observar que a densidade de DRAM por die é a mesma (24 Gb) no HBM4 e no HBM3E. O grande salto de largura de banda do HBM4 vem do aumento do IO e da elevação da taxa de dados, e não de uma densidade maior de die. Isso indica que o foco competitivo das gerações do HBM migrou de “quanto guardar” para “quão rápido transmitir”.
Área de silício 8 vezes maior que a do GPU: o HBM como “corpo principal” dos aceleradores de IA
A Micron também destaca que, em um encapsulamento típico de acelerador de IA com 8 chips de HBM4, a área de silício da memória é 8 vezes a do GPU. Em outras palavras, o HBM é a maior composição física em área de um acelerador de IA; o die do GPU é, na prática, apenas uma minoria.
Comparação de área de silício: à esquerda, o encapsulamento SiP (System-In-Package) com 8 HBM4 ao redor de 2 dies de GPU; à direita, comparação da área de silício entre GPU e HBM4 (12-high). No segundo caso, a área excede a do primeiro em mais de 8 vezes.
HBM vs. DDR5: liderança de largura de banda em 15 vezes, mas com custo de área de silício de 3 vezes
Em uma configuração típica de GPU, o sistema HBM atinge largura de banda total de 5,3 TB/s, enquanto o DDR5 fica em cerca de 300 GB/s — diferença de aproximadamente 16 vezes. No nível de single die, a largura de banda do HBM3E (256 GB/s) comparada à do DDR5 (8 GB/s) amplia a diferença para 32 vezes.
Acesso de alta serialidade...
A pré-história e o futuro do HBM: do desempenho de cada geração de HBM em largura de banda, empilhamento e gargalos de refrigeração — por que o encapsulamento é o campo de batalha decisivo?
Uma das três maiores fabricantes de memória do mundo, a Micron (MU), apresentou uma palestra na Hot Chips 2026 em que reconheceu que o desempenho de computação da IA cresce 3 vezes a cada dois anos, uma expansão que supera a do aumento de largura de banda do HBM em menos de 2 vezes por ano. Como resultado, a “parede da memória (Memory Wall)” continua a piorar. Durante o treinamento do Meta Llama 3, falhas inesperadas chegaram a 17% e foram atribuídas às deficiências do HBM, intensificando ainda mais a crise de confiabilidade da memória. A Micron teme que, sem inovações disruptivas em três níveis — processo, encapsulamento e projeto de IO — a rota atual do HBM possa enfrentar limites físicos ainda mais rapidamente.
Resumo em destaque: o ritmo de crescimento do desempenho da IA (3 vezes a cada dois anos) continua a esmagar a largura de banda do HBM (menos de 2 vezes a cada dois anos); a parede da memória segue piorando. No treinamento do Meta Llama 3, cerca de 17% das interrupções inesperadas foram atribuídas a falhas do HBM. Em encapsulamentos típicos de aceleradores de IA, a área de silício do HBM é 8 vezes maior do que a do GPU. O HBM4 atinge 2.800 GB/s de largura de banda, 15 a 17 vezes mais do que o DDR5, mas o custo de área de silício por unidade de capacidade fica em torno de 3 vezes o do DDR5. Quanto maior a densidade, pior a eficiência energética; empilhar stacks já não é uma solução “mágica”. A Micron aposta em tecnologias de encapsulamento inovadoras e disruptivas como Fusion Bonding, Glass Substrate e CPO para abrir caminho.
O problema atual não pode ser resolvido por uma única empresa: é necessária colaboração em toda a cadeia da indústria — fornecedores de HBM, fundições/OSAT, projeto de SoC, software e comunidade acadêmica. (Por que o mercado de “vacas de memória” ainda pode continuar subindo por mais cinco anos? Três indicadores para entender as diferenças entre HBM, DRAM e NAND?)
Pelo Scaling Law, o papel da memória é central: a chave para expandir a eficiência de LLMs
A Micron começa citando o artigo de pesquisa da OpenAI “Scaling Laws for Neural Language Models” como introdução. Três gráficos com leis de potência explicam o cerne: a perda de teste do LLM diminui de forma suave conforme aumentam o poder de computação, o tamanho do conjunto de dados e a quantidade de parâmetros do modelo; e os três precisam crescer em conjunto para alcançar o melhor desempenho.
Imagem da fronteira em eficiência de computação
Em outras palavras, a memória não é um papel secundário, e sim uma das variáveis-chave que impulsionam o progresso contínuo dos LLMs. Sem expansão simultânea de memória, o aumento de computação se torna ineficaz.
A parede da memória está piorando: a largura de banda não consegue acompanhar o crescimento do poder de computação
Com dados reais de produtos entre 2019 e 2027, vê-se que a capacidade de computação dos GPUs — seguindo A100, H100, MI300X e B200 — mantém uma taxa de crescimento de cerca de 3 vezes a cada dois anos. Já a largura de banda do HBM, evoluindo de HBM2E para HBM4, cresce com menos de 2 vezes a cada dois anos.
Parede da memória: diferença nas trajetórias de crescimento da capacidade de computação dos GPUs entre 2017 e 2027
No efeito de juros compostos, a cada dois anos a lacuna de demanda de memória para acompanhar o poder de computação aumenta mais 1,5 vez; no longo prazo, o abismo acumulado é considerável.
Por que o HBM é difícil de substituir? A lógica de engenharia do Roofline Model
A Micron usa o Roofline Model (modelo da linha do teto) para explicar o valor central do HBM. Na IA de treinamento e inferência, grande parte dos cálculos cai na “zona de gargalo de memória (Memory Bound)”, em que o processador não consegue extrair desempenho enquanto espera os dados chegarem.
Roofline Model: ao elevar o limite máximo de largura de banda, o HBM desloca a “linha do teto” para cima, permitindo que cargas de trabalho de IA intensivas em memória atinjam um desempenho mais alto.
A função do HBM é elevar o teto de largura de banda global, fazendo com que mais cargas de trabalho de IA entrem na região de saturação de computação antes de tocar o limite de memória, liberando plenamente o pico teórico de desempenho do GPU.
Evolução das especificações das seis gerações do HBM: antes, “quanto guardar”; agora, “quão rápido transmitir”
Desde que o HBM surgiu em 2014, as seis gerações elevam significativamente especificações fundamentais:
Tabela de comparação das especificações do HBM (seis gerações): inclui número de canais, taxa de dados, largura de banda nominal, densidade de DRAM, altura de empilhamento e capacidade do Cube.
A taxa de dados subiu de 1 Gbps para 11 Gbps — crescimento de 11 vezes.
A largura de banda nominal saltou de 128 GB/s para 2.800 GB/s — crescimento de 22 vezes.
Pela primeira vez, o HBM4 dobra a quantidade de Data I/O de 1.024 das cinco gerações anteriores para 2.048 — um dos principais motivos para o grande salto de largura de banda.
Vale observar que a densidade de DRAM por die é a mesma (24 Gb) no HBM4 e no HBM3E. O grande salto de largura de banda do HBM4 vem do aumento do IO e da elevação da taxa de dados, e não de uma densidade maior de die. Isso indica que o foco competitivo das gerações do HBM migrou de “quanto guardar” para “quão rápido transmitir”.
Área de silício 8 vezes maior que a do GPU: o HBM como “corpo principal” dos aceleradores de IA
A Micron também destaca que, em um encapsulamento típico de acelerador de IA com 8 chips de HBM4, a área de silício da memória é 8 vezes a do GPU. Em outras palavras, o HBM é a maior composição física em área de um acelerador de IA; o die do GPU é, na prática, apenas uma minoria.
Comparação de área de silício: à esquerda, o encapsulamento SiP (System-In-Package) com 8 HBM4 ao redor de 2 dies de GPU; à direita, comparação da área de silício entre GPU e HBM4 (12-high). No segundo caso, a área excede a do primeiro em mais de 8 vezes.
HBM vs. DDR5: liderança de largura de banda em 15 vezes, mas com custo de área de silício de 3 vezes
Em uma configuração típica de GPU, o sistema HBM atinge largura de banda total de 5,3 TB/s, enquanto o DDR5 fica em cerca de 300 GB/s — diferença de aproximadamente 16 vezes. No nível de single die, a largura de banda do HBM3E (256 GB/s) comparada à do DDR5 (8 GB/s) amplia a diferença para 32 vezes.
Acesso de alta serialidade...
