$TRX $METAB $MU
El pasado y el presente de la HBM: de las distintas generaciones de HBM para ver los cuellos de botella en ancho de banda, apilamiento y disipación térmica; ¿por qué el empaquetado es el campo de batalla clave?
Una de las tres grandes fabricantes de memoria, Micron (MU), presentó una charla en Hot Chips 2026 en la que admitió que el rendimiento de cómputo de la IA crece 3 veces cada dos años. Ese ritmo es más rápido que el aumento del ancho de banda de la HBM, que se expande menos de 2 veces por cada dos años. Como resultado, el “Memory Wall” (muro de la memoria) continúa empeorando. Durante el entrenamiento de Meta Llama 3, hasta un 17% de las interrupciones no previstas revelaron fallos de la HBM, lo que agrava aún más la crisis de confiabilidad de la memoria. Micron teme que, si no hay innovaciones disruptivas en tres niveles—proceso de fabricación, empaquetado y diseño de E/S (IO)—la ruta actual de la HBM podría enfrentar límites físicos aún más rápido.
Resumen de puntos clave: el ritmo de crecimiento del cómputo de IA (3 veces por cada dos años) supera de forma persistente el crecimiento del ancho de banda de la HBM (menos de 2 veces por cada dos años), y el “muro de la memoria” sigue deteriorándose; en el entrenamiento de Meta Llama 3, cerca del 17% de las interrupciones imprevistas se atribuyen a fallas de la HBM; en empaquetados típicos de aceleradores de IA, la superficie de silicio de la HBM es 8 veces mayor que la del GPU. El ancho de banda de HBM4 alcanza 2,800 GB/s, 15 a 17 veces más que DDR5, pero el costo de área de silicio por unidad de capacidad es aproximadamente 3 veces el de DDR5. A mayor densidad, peor eficiencia energética; apilar stacks más altos ya no es una solución todoterreno.
Micron apuesta por innovaciones disruptivas de empaquetado como Fusion Bonding, Glass Substrate y CPO para abrirse paso.
El problema actual no puede resolverse con el esfuerzo de un solo fabricante: se necesita colaboración de toda la cadena industrial, incluyendo proveedores de HBM, foundries/OSAT, diseño de SoC, software y el mundo académico.
(¿Por qué el mercado alcista de la memoria aún puede subir cinco años más? Tres indicadores para entender en qué se diferencian HBM, DRAM y NAND.)
Desde la Scaling Law: la posición de la memoria como variable central
Micron comienza citando el paper de investigación de OpenAI “Scaling Laws for Neural Language Models” como punto de partida. Con tres curvas de ley potencial (power law), se explica el problema central: la pérdida de prueba del LLM disminuye de forma suave cuando aumentan el cómputo, el tamaño del conjunto de datos y la cantidad de parámetros del modelo; además, los tres deben escalarse simultáneamente para alcanzar el mejor rendimiento.
Imagen del frente de eficiencia del cómputo
Dicho de otra manera: la memoria no es un personaje secundario, sino una de las variables clave que impulsa el avance continuo de los LLM. Sin un escalamiento sincronizado de la memoria, el aumento del cómputo es ineficaz.
El “muro de la memoria” se está agravando: el ancho de banda no logra seguir el crecimiento del cómputo
Según datos reales de productos de 2019 a 2027, la capacidad de cómputo de GPU—siguiendo la ruta A100, H100, MI300X y B200—mantiene una velocidad de crecimiento de aproximadamente 3 veces cada dos años. En cambio, el ancho de banda de HBM pasa de HBM2E a HBM4, pero su crecimiento es de apenas menos de 2 veces cada dos años.
Memory Wall: brecha entre las trayectorias de crecimiento del cómputo de GPU de 2017 a 2027
Bajo el efecto compuesto, cada dos años el déficit de memoria requerido por el cómputo se amplía adicionalmente en 1.5 veces; la brecha acumulada a largo plazo es considerable.
¿Por qué la HBM es difícil de reemplazar? Lógica de ingeniería del Roofline Model
Micron utiliza el Roofline Model (modelo de línea de techo) para explicar el valor central de la HBM. En el entrenamiento y la inferencia de IA, una gran cantidad de operaciones cae en la “zona limitada por memoria (Memory Bound)”: el procesador no puede aprovechar su rendimiento mientras espera a que lleguen los datos.
Roofline Model: la HBM mueve la línea de techo hacia arriba al elevar el límite de ancho de banda, logrando que las cargas de trabajo de IA intensivas en memoria alcancen un rendimiento más alto.
El papel de la HBM consiste en elevar el límite global de ancho de banda, de modo que más cargas de trabajo de IA entren en la zona de saturación del cómputo antes de tocar el límite de memoria, liberando plenamente el rendimiento pico teórico del GPU.
Evolución de especificaciones de seis generaciones de HBM de un vistazo: de “cuánto” a “qué tan rápido” se transmite
Desde que la HBM apareció en 2014, las seis generaciones han incrementado significativamente sus especificaciones clave:
Tabla comparativa de la HBM de seis generaciones: incluye número de canales, tasa de datos, ancho de banda nominal, densidad de DRAM, altura de apilamiento y capacidad de Cube, etc.
La tasa de datos sube de 1 Gbps a 11 Gbps, con un crecimiento de 11 veces.
El ancho de banda nominal salta de 128 GB/s a 2,800 GB/s, creciendo 22 veces.
HBM4, por primera vez, duplica el número de Data I/O respecto a las cinco generaciones anteriores: de 1,024 a 2,048; esta es una de las principales razones del gran salto en el ancho de banda.
A tener en cuenta: HBM4 y HBM3E tienen la misma densidad de DRAM por die (24 Gb). El gran salto en ancho de banda de HBM4 se debe a duplicar el IO y mejorar la tasa de datos, no a una densidad de die mayor. Esto indica que el enfoque competitivo de las generaciones de HBM se ha desplazado de “cuánto se almacena” a “qué tan rápido se transmite”.
8 veces más área de silicio que el GPU: la verdadera “carrocería” de la HBM en los aceleradores de IA
Micron también señaló que, en un empaquetado típico de acelerador de IA con 8 chips HBM4, el área de silicio de la memoria es 8 veces la del GPU. En otras palabras, la HBM es el componente físico de mayor área dentro de un acelerador de IA; los dies del GPU, en cambio, son solo una minoría.
Gráfico comparativo de área de silicio: a la izquierda, un empaquetado SiP (System-In-Package) con 8 chips HBM4 alrededor de 2 dies de GPU. A la derecha, una comparación del área de silicio entre GPU y HBM4 (12-high); esta última supera a la primera por más de 8 veces.
HBM vs. DDR5: ventaja de ancho de banda de 15 veces, pero el costo de área de silicio es 3 veces
En una configuración típica de GPU, el ancho de banda total del sistema con HBM alcanza 5.3 TB/s, mientras que DDR5 ronda 300 GB/s; la diferencia es de aproximadamente 16 veces. En términos de ancho de banda por die, HBM3E ofrece 256 GB/s frente a 8 GB/s de DDR5, ampliando aún más la brecha hasta 32 veces.
Acceso de alta secuencia a...
El pasado y el presente de la HBM: de las distintas generaciones de HBM para ver los cuellos de botella en ancho de banda, apilamiento y disipación térmica; ¿por qué el empaquetado es el campo de batalla clave?
Una de las tres grandes fabricantes de memoria, Micron (MU), presentó una charla en Hot Chips 2026 en la que admitió que el rendimiento de cómputo de la IA crece 3 veces cada dos años. Ese ritmo es más rápido que el aumento del ancho de banda de la HBM, que se expande menos de 2 veces por cada dos años. Como resultado, el “Memory Wall” (muro de la memoria) continúa empeorando. Durante el entrenamiento de Meta Llama 3, hasta un 17% de las interrupciones no previstas revelaron fallos de la HBM, lo que agrava aún más la crisis de confiabilidad de la memoria. Micron teme que, si no hay innovaciones disruptivas en tres niveles—proceso de fabricación, empaquetado y diseño de E/S (IO)—la ruta actual de la HBM podría enfrentar límites físicos aún más rápido.
Resumen de puntos clave: el ritmo de crecimiento del cómputo de IA (3 veces por cada dos años) supera de forma persistente el crecimiento del ancho de banda de la HBM (menos de 2 veces por cada dos años), y el “muro de la memoria” sigue deteriorándose; en el entrenamiento de Meta Llama 3, cerca del 17% de las interrupciones imprevistas se atribuyen a fallas de la HBM; en empaquetados típicos de aceleradores de IA, la superficie de silicio de la HBM es 8 veces mayor que la del GPU. El ancho de banda de HBM4 alcanza 2,800 GB/s, 15 a 17 veces más que DDR5, pero el costo de área de silicio por unidad de capacidad es aproximadamente 3 veces el de DDR5. A mayor densidad, peor eficiencia energética; apilar stacks más altos ya no es una solución todoterreno.
Micron apuesta por innovaciones disruptivas de empaquetado como Fusion Bonding, Glass Substrate y CPO para abrirse paso.
El problema actual no puede resolverse con el esfuerzo de un solo fabricante: se necesita colaboración de toda la cadena industrial, incluyendo proveedores de HBM, foundries/OSAT, diseño de SoC, software y el mundo académico.
(¿Por qué el mercado alcista de la memoria aún puede subir cinco años más? Tres indicadores para entender en qué se diferencian HBM, DRAM y NAND.)
Desde la Scaling Law: la posición de la memoria como variable central
Micron comienza citando el paper de investigación de OpenAI “Scaling Laws for Neural Language Models” como punto de partida. Con tres curvas de ley potencial (power law), se explica el problema central: la pérdida de prueba del LLM disminuye de forma suave cuando aumentan el cómputo, el tamaño del conjunto de datos y la cantidad de parámetros del modelo; además, los tres deben escalarse simultáneamente para alcanzar el mejor rendimiento.
Imagen del frente de eficiencia del cómputo
Dicho de otra manera: la memoria no es un personaje secundario, sino una de las variables clave que impulsa el avance continuo de los LLM. Sin un escalamiento sincronizado de la memoria, el aumento del cómputo es ineficaz.
El “muro de la memoria” se está agravando: el ancho de banda no logra seguir el crecimiento del cómputo
Según datos reales de productos de 2019 a 2027, la capacidad de cómputo de GPU—siguiendo la ruta A100, H100, MI300X y B200—mantiene una velocidad de crecimiento de aproximadamente 3 veces cada dos años. En cambio, el ancho de banda de HBM pasa de HBM2E a HBM4, pero su crecimiento es de apenas menos de 2 veces cada dos años.
Memory Wall: brecha entre las trayectorias de crecimiento del cómputo de GPU de 2017 a 2027
Bajo el efecto compuesto, cada dos años el déficit de memoria requerido por el cómputo se amplía adicionalmente en 1.5 veces; la brecha acumulada a largo plazo es considerable.
¿Por qué la HBM es difícil de reemplazar? Lógica de ingeniería del Roofline Model
Micron utiliza el Roofline Model (modelo de línea de techo) para explicar el valor central de la HBM. En el entrenamiento y la inferencia de IA, una gran cantidad de operaciones cae en la “zona limitada por memoria (Memory Bound)”: el procesador no puede aprovechar su rendimiento mientras espera a que lleguen los datos.
Roofline Model: la HBM mueve la línea de techo hacia arriba al elevar el límite de ancho de banda, logrando que las cargas de trabajo de IA intensivas en memoria alcancen un rendimiento más alto.
El papel de la HBM consiste en elevar el límite global de ancho de banda, de modo que más cargas de trabajo de IA entren en la zona de saturación del cómputo antes de tocar el límite de memoria, liberando plenamente el rendimiento pico teórico del GPU.
Evolución de especificaciones de seis generaciones de HBM de un vistazo: de “cuánto” a “qué tan rápido” se transmite
Desde que la HBM apareció en 2014, las seis generaciones han incrementado significativamente sus especificaciones clave:
Tabla comparativa de la HBM de seis generaciones: incluye número de canales, tasa de datos, ancho de banda nominal, densidad de DRAM, altura de apilamiento y capacidad de Cube, etc.
La tasa de datos sube de 1 Gbps a 11 Gbps, con un crecimiento de 11 veces.
El ancho de banda nominal salta de 128 GB/s a 2,800 GB/s, creciendo 22 veces.
HBM4, por primera vez, duplica el número de Data I/O respecto a las cinco generaciones anteriores: de 1,024 a 2,048; esta es una de las principales razones del gran salto en el ancho de banda.
A tener en cuenta: HBM4 y HBM3E tienen la misma densidad de DRAM por die (24 Gb). El gran salto en ancho de banda de HBM4 se debe a duplicar el IO y mejorar la tasa de datos, no a una densidad de die mayor. Esto indica que el enfoque competitivo de las generaciones de HBM se ha desplazado de “cuánto se almacena” a “qué tan rápido se transmite”.
8 veces más área de silicio que el GPU: la verdadera “carrocería” de la HBM en los aceleradores de IA
Micron también señaló que, en un empaquetado típico de acelerador de IA con 8 chips HBM4, el área de silicio de la memoria es 8 veces la del GPU. En otras palabras, la HBM es el componente físico de mayor área dentro de un acelerador de IA; los dies del GPU, en cambio, son solo una minoría.
Gráfico comparativo de área de silicio: a la izquierda, un empaquetado SiP (System-In-Package) con 8 chips HBM4 alrededor de 2 dies de GPU. A la derecha, una comparación del área de silicio entre GPU y HBM4 (12-high); esta última supera a la primera por más de 8 veces.
HBM vs. DDR5: ventaja de ancho de banda de 15 veces, pero el costo de área de silicio es 3 veces
En una configuración típica de GPU, el ancho de banda total del sistema con HBM alcanza 5.3 TB/s, mientras que DDR5 ronda 300 GB/s; la diferencia es de aproximadamente 16 veces. En términos de ancho de banda por die, HBM3E ofrece 256 GB/s frente a 8 GB/s de DDR5, ampliando aún más la brecha hasta 32 veces.
Acceso de alta secuencia a...
