SK Hynix acaba de exponer el verdadero cuello de botella de la IA — y ya no es el cómputo.
En el foro de Dell, su vicepresidente de arquitectura de sistemas dijo que el ancho de banda de memoria ahora marca el rendimiento general de la IA más que el poder bruto de las GPU. Los LLMs ya mueven volúmenes masivos de datos. Las cargas de trabajo agentic y las ventanas de contexto más largas empujan el rendimiento de tokens de decenas por segundo hacia cientos o miles.
La HBM ha escalado rápido de la Gen 1 a la HBM4, pero SK dice que ya no es suficiente para los próximos sistemas agentic. Apilar memoria directamente sobre la GPU podría desbloquear un ancho de banda mucho mayor, pero los límites térmicos hacen que ese camino sea difícil. La otra presión es la energía: la mayor parte de la potencia se destina a mover datos, no a computar. Por eso la investigación sobre procesamiento en memoria (processing-in-memory) sigue avanzando.
Se está desplegando el agrupamiento de memoria mediante CXL para reducir el tiempo de inactividad de la GPU y mejorar la eficiencia de costes. Las ganancias de eficiencia en otros ámbitos, incluidas mejoras algorítmicas, han seguido el “paradigma de Jevons”: han aumentado la demanda total de memoria en lugar de reducirla.
El patrón está claro. El cómputo sigue avanzando. El sistema está cada vez más limitado por qué tan rápido y eficientemente puedes suministrar datos. Esa es la restricción que está dando forma al próximo gran gasto en infraestructura de IA.
En el foro de Dell, su vicepresidente de arquitectura de sistemas dijo que el ancho de banda de memoria ahora marca el rendimiento general de la IA más que el poder bruto de las GPU. Los LLMs ya mueven volúmenes masivos de datos. Las cargas de trabajo agentic y las ventanas de contexto más largas empujan el rendimiento de tokens de decenas por segundo hacia cientos o miles.
La HBM ha escalado rápido de la Gen 1 a la HBM4, pero SK dice que ya no es suficiente para los próximos sistemas agentic. Apilar memoria directamente sobre la GPU podría desbloquear un ancho de banda mucho mayor, pero los límites térmicos hacen que ese camino sea difícil. La otra presión es la energía: la mayor parte de la potencia se destina a mover datos, no a computar. Por eso la investigación sobre procesamiento en memoria (processing-in-memory) sigue avanzando.
Se está desplegando el agrupamiento de memoria mediante CXL para reducir el tiempo de inactividad de la GPU y mejorar la eficiencia de costes. Las ganancias de eficiencia en otros ámbitos, incluidas mejoras algorítmicas, han seguido el “paradigma de Jevons”: han aumentado la demanda total de memoria en lugar de reducirla.
El patrón está claro. El cómputo sigue avanzando. El sistema está cada vez más limitado por qué tan rápido y eficientemente puedes suministrar datos. Esa es la restricción que está dando forma al próximo gran gasto en infraestructura de IA.