$TRX $METAB $MU
Прошлое и настоящее HBM: по разным поколениям HBM — как меняются пропускная способность, укладка и узкие места по охлаждению, и почему корпусирование — ключевое поле боя?
Один из трех крупнейших производителей памяти Micron (MU) на выставке Hot Chips 2026 представил доклад. Компания прямо признала: вычислительная мощность для AI растет в 3 раза каждые два года, тогда как расширение HBM по пропускной способности — менее чем в 2 раза за тот же период. В результате «memory wall» (стена памяти) продолжает ухудшаться. Во время обучения Meta Llama 3 доля непредвиденных прерываний, достигающая 17%, была связана с дефектами HBM — это еще сильнее обостряет кризис надежности памяти. Micron опасается, что без прорывных инноваций сразу на трех уровнях — технологическом процессе, корпусировании и проектировании IO — текущая траектория HBM может столкнуться с физическими ограничениями еще быстрее.
Ключевое резюме: скорость роста вычислительной мощности (в 3 раза каждые два года) постоянно превосходит рост пропускной способности HBM (менее чем в 2 раза за два года), а «memory wall» продолжает ухудшаться. В обучении Meta Llama 3 около 17% непредвиденных сбоев связывают с отказами HBM. В типичном корпусе AI-ускорителя HBM-силиконовая площадь в 8 раз больше, чем у GPU. Пропускная способность HBM4 — 2 800 GB/s, что в 15–17 раз выше DDR5. Однако стоимость единичной емкости на единицу площади кремния примерно в 3 раза выше у HBM. Чем выше плотность, тем хуже энергоэффективность — простое наращивание стека уже не является универсальным решением. Micron делает ставку на разрушающие инновации в технологиях корпусирования — Fusion Bonding, Glass Substrate, CPO — чтобы пробиться вперед.
Текущая проблема не по силам одному производителю: нужна кооперация всей цепочки — поставщиков HBM, контрактных производителей пластин/OSAT, проектировщиков SoC, софта и академического сообщества.
(Почему «бычий» рынок памяти может еще вырасти на пять лет? Три индикатора, чтобы понять различия между HBM, DRAM и NAND.)
С точки зрения Scaling Law: память — ключевой фактор статуса и ядро расширения эффективности LLM
Micron в начале ссылается на научную работу OpenAI «Scaling Laws for Neural Language Models». Используя три степенные (потенциальные) кривые, компания объясняет суть проблемы: тестовые потери LLM плавно снижаются по мере увеличения вычислительной мощности, размера датасета и числа параметров модели, но три компонента должны развиваться синхронно, чтобы достичь наилучшей эффективности.
Изображение на переднем крае эффективности вычислений
Иными словами, память — не второстепенный игрок, а один из ключевых переменных драйверов постоянного прогресса LLM. Без синхронного масштабирования памяти рост вычислительной мощности становится неэффективным.
Memory wall ухудшается: пропускная способность не успевает за ростом вычислений
По данным реальных продуктов с 2019 по 2027 год видно: вычислительная мощность GPU растет вдоль линии A100, H100, MI300X, B200, сохраняя темп примерно в 3 раза каждые два года. При этом пропускная способность HBM — от HBM2E к HBM4 — растет всего менее чем в 2 раза за два года.
Memory wall: разрыв между траекториями роста вычислительной мощности GPU в период 2017–2027
В условиях эффекта сложных процентов каждые два года «дефицит по памяти» относительно вычислительных требований дополнительно увеличивается в 1,5 раза; в долгосрочной перспективе накопившаяся пропасть становится весьма значительной.
Почему HBM трудно заменить? Инженерная логика Roofline Model
Micron объясняет ключевую ценность HBM через Roofline Model (модель «линии крыши»). Огромная часть вычислений при обучении и инференсе AI попадает в зону «Memory Bound» (ограничено памятью), из‑за чего процессор не может реализовать эффективность, пока ожидает данные.
Roofline Model: HBM смещает «линию крыши» вверх за счет повышения верхней границы пропускной способности, позволяя памяти плотным AI‑нагрузкам достигать более высокой производительности.
Роль HBM — поднять общий потолок пропускной способности, чтобы больше AI‑рабочих нагрузок входили в режим насыщения вычислений еще до того, как достигнут пределов по памяти, тем самым раскрывая теоретический пик производительности GPU.
Эволюция спецификаций шести поколений HBM — одним взглядом: от «сколько хранить» к «как быстро передавать»
С момента появления HBM в 2014 году шесть поколений резко нарастили ключевые параметры:
Таблица соответствия спецификаций HBM шестых поколений: включая число каналов, скорость данных, паспортную пропускную способность, плотность DRAM, высоту штабеля и емкость Cube.
Скорость данных выросла с 1 Gbps до 11 Gbps — в 11 раз.
Паспортная пропускная способность увеличилась с 128 GB/s до 2 800 GB/s — в 22 раза.
HBM4 впервые удвоила количество Data I/O: с 1 024 линий у первых пяти поколений до 2 048 — это одна из причин резкого роста пропускной способности.
Важно отметить: у HBM4 и HBM3E плотность DRAM на одном кристалле (single die) одинакова — 24 Gb. Прыжок по пропускной способности у HBM4 обеспечен удвоением IO и ростом скорости данных, а не более высокой плотностью die. Это показывает, что конкуренция поколений HBM смещается с «сколько хранить» на «как быстро передавать».
Силиконовая площадь в 8 раз больше, чем у GPU: HBM — истинное «тело» AI‑ускорителя
Micron также указывает: в типичном корпусе AI‑ускорителя с 8 чипами HBM4 площадь HBM‑силикона в 8 раз больше, чем у GPU. Иными словами, именно HBM является крупнейшей физической составляющей по площади в корпусе AI‑ускорителя, а GPU die — лишь меньшинство.
Сравнение площадей кремния: слева — SiP (System-In-Package) корпус с 8 чипами HBM4 вокруг 2 GPU die; справа — сравнение GPU и HBM4 (12-high) по площади кремния. При этом второй вариант превышает первый более чем в 8 раз.
HBM vs. DDR5: лидерство по пропускной способности в 15 раз, но «плата» по площади кремния — в 3 раза
В типичной конфигурации GPU общая пропускная способность системы с HBM достигает 5,3 TB/s, тогда как у DDR5 — около 300 GB/s; разрыв примерно 16 раз. По ширине канала на один die: HBM3E — 256 GB/s против DDR5 — 8 GB/s; разрыв еще больше — до 32 раз.
AI High Sequence Access...
Прошлое и настоящее HBM: по разным поколениям HBM — как меняются пропускная способность, укладка и узкие места по охлаждению, и почему корпусирование — ключевое поле боя?
Один из трех крупнейших производителей памяти Micron (MU) на выставке Hot Chips 2026 представил доклад. Компания прямо признала: вычислительная мощность для AI растет в 3 раза каждые два года, тогда как расширение HBM по пропускной способности — менее чем в 2 раза за тот же период. В результате «memory wall» (стена памяти) продолжает ухудшаться. Во время обучения Meta Llama 3 доля непредвиденных прерываний, достигающая 17%, была связана с дефектами HBM — это еще сильнее обостряет кризис надежности памяти. Micron опасается, что без прорывных инноваций сразу на трех уровнях — технологическом процессе, корпусировании и проектировании IO — текущая траектория HBM может столкнуться с физическими ограничениями еще быстрее.
Ключевое резюме: скорость роста вычислительной мощности (в 3 раза каждые два года) постоянно превосходит рост пропускной способности HBM (менее чем в 2 раза за два года), а «memory wall» продолжает ухудшаться. В обучении Meta Llama 3 около 17% непредвиденных сбоев связывают с отказами HBM. В типичном корпусе AI-ускорителя HBM-силиконовая площадь в 8 раз больше, чем у GPU. Пропускная способность HBM4 — 2 800 GB/s, что в 15–17 раз выше DDR5. Однако стоимость единичной емкости на единицу площади кремния примерно в 3 раза выше у HBM. Чем выше плотность, тем хуже энергоэффективность — простое наращивание стека уже не является универсальным решением. Micron делает ставку на разрушающие инновации в технологиях корпусирования — Fusion Bonding, Glass Substrate, CPO — чтобы пробиться вперед.
Текущая проблема не по силам одному производителю: нужна кооперация всей цепочки — поставщиков HBM, контрактных производителей пластин/OSAT, проектировщиков SoC, софта и академического сообщества.
(Почему «бычий» рынок памяти может еще вырасти на пять лет? Три индикатора, чтобы понять различия между HBM, DRAM и NAND.)
С точки зрения Scaling Law: память — ключевой фактор статуса и ядро расширения эффективности LLM
Micron в начале ссылается на научную работу OpenAI «Scaling Laws for Neural Language Models». Используя три степенные (потенциальные) кривые, компания объясняет суть проблемы: тестовые потери LLM плавно снижаются по мере увеличения вычислительной мощности, размера датасета и числа параметров модели, но три компонента должны развиваться синхронно, чтобы достичь наилучшей эффективности.
Изображение на переднем крае эффективности вычислений
Иными словами, память — не второстепенный игрок, а один из ключевых переменных драйверов постоянного прогресса LLM. Без синхронного масштабирования памяти рост вычислительной мощности становится неэффективным.
Memory wall ухудшается: пропускная способность не успевает за ростом вычислений
По данным реальных продуктов с 2019 по 2027 год видно: вычислительная мощность GPU растет вдоль линии A100, H100, MI300X, B200, сохраняя темп примерно в 3 раза каждые два года. При этом пропускная способность HBM — от HBM2E к HBM4 — растет всего менее чем в 2 раза за два года.
Memory wall: разрыв между траекториями роста вычислительной мощности GPU в период 2017–2027
В условиях эффекта сложных процентов каждые два года «дефицит по памяти» относительно вычислительных требований дополнительно увеличивается в 1,5 раза; в долгосрочной перспективе накопившаяся пропасть становится весьма значительной.
Почему HBM трудно заменить? Инженерная логика Roofline Model
Micron объясняет ключевую ценность HBM через Roofline Model (модель «линии крыши»). Огромная часть вычислений при обучении и инференсе AI попадает в зону «Memory Bound» (ограничено памятью), из‑за чего процессор не может реализовать эффективность, пока ожидает данные.
Roofline Model: HBM смещает «линию крыши» вверх за счет повышения верхней границы пропускной способности, позволяя памяти плотным AI‑нагрузкам достигать более высокой производительности.
Роль HBM — поднять общий потолок пропускной способности, чтобы больше AI‑рабочих нагрузок входили в режим насыщения вычислений еще до того, как достигнут пределов по памяти, тем самым раскрывая теоретический пик производительности GPU.
Эволюция спецификаций шести поколений HBM — одним взглядом: от «сколько хранить» к «как быстро передавать»
С момента появления HBM в 2014 году шесть поколений резко нарастили ключевые параметры:
Таблица соответствия спецификаций HBM шестых поколений: включая число каналов, скорость данных, паспортную пропускную способность, плотность DRAM, высоту штабеля и емкость Cube.
Скорость данных выросла с 1 Gbps до 11 Gbps — в 11 раз.
Паспортная пропускная способность увеличилась с 128 GB/s до 2 800 GB/s — в 22 раза.
HBM4 впервые удвоила количество Data I/O: с 1 024 линий у первых пяти поколений до 2 048 — это одна из причин резкого роста пропускной способности.
Важно отметить: у HBM4 и HBM3E плотность DRAM на одном кристалле (single die) одинакова — 24 Gb. Прыжок по пропускной способности у HBM4 обеспечен удвоением IO и ростом скорости данных, а не более высокой плотностью die. Это показывает, что конкуренция поколений HBM смещается с «сколько хранить» на «как быстро передавать».
Силиконовая площадь в 8 раз больше, чем у GPU: HBM — истинное «тело» AI‑ускорителя
Micron также указывает: в типичном корпусе AI‑ускорителя с 8 чипами HBM4 площадь HBM‑силикона в 8 раз больше, чем у GPU. Иными словами, именно HBM является крупнейшей физической составляющей по площади в корпусе AI‑ускорителя, а GPU die — лишь меньшинство.
Сравнение площадей кремния: слева — SiP (System-In-Package) корпус с 8 чипами HBM4 вокруг 2 GPU die; справа — сравнение GPU и HBM4 (12-high) по площади кремния. При этом второй вариант превышает первый более чем в 8 раз.
HBM vs. DDR5: лидерство по пропускной способности в 15 раз, но «плата» по площади кремния — в 3 раза
В типичной конфигурации GPU общая пропускная способность системы с HBM достигает 5,3 TB/s, тогда как у DDR5 — около 300 GB/s; разрыв примерно 16 раз. По ширине канала на один die: HBM3E — 256 GB/s против DDR5 — 8 GB/s; разрыв еще больше — до 32 раз.
AI High Sequence Access...
