$TRX $METAB $MU
HBM的前世今生：從各世代HBM看頻寬、堆疊與散熱瓶頸，封裝為何是關鍵戰場？
記憶體三大廠之一的美光（Micron, MU）於 Hot Chips 2026 大會發表演說，坦言 AI 算力每兩年成長 3 倍，超過 HBM 頻寬每年不到 2 倍的擴展速度，「記憶體牆（Memory Wall）」持續惡化。Meta Llama 3 訓練過程中高達 17% 的非預期中斷暴露 HBM 缺陷，進一步加劇記憶體可靠性危機。美光擔憂，若無製程、封裝與 IO 設計三個層面的顛覆性創新，HBM 當前路線恐更快面臨物理極限。 重點摘要： AI 算力成長速度（每兩年 3 倍）持續碾壓 HBM 頻寬（每兩年不到 2 倍），記憶體牆持續惡化 Meta Llama 3 的訓練中，約 17% 的意外中斷歸咎於 HBM 故障 典型 AI 加速器封裝中，HBM 矽晶面積比 GPU 多 8 倍 HBM4 頻寬達 2,800 GB/s，較 DDR5 高出 15 至 17 倍，但單位容量矽面積成本約為 DDR5 的 3 倍 密度越高、能效越差，疊高 stack 已非萬能解方 美光押注 Fusion Bonding、Glass Substrate、CPO 等破壞性創新封裝技術突圍 當前問題單一廠商難解決，需 HBM 供應商、晶圓代工/OSAT、SoC 設計、軟體與學術界全產業鏈合作 （記憶體牛市為何還能再漲五年？三指標看懂 HBM、DRAM、NAND 差在哪？） 從 Scaling Law 看記憶體地位：擴展 LLM 效能的核心 美光首先引述 OpenAI 的研究論文《Scaling Laws for Neural Language Models》作為開場。以三張冪次律曲線說明核心問題：LLM 的測試損失會隨算力、資料集大小與模型參數量的增加平滑下降，且三者必須同步擴展才能達到最佳效能。 算力效率前沿圖片 換言之，記憶體並非配角，而是驅動 LLM 持續進步的關鍵變數之一。沒有記憶體的同步擴展，算力的增加是無效的。 記憶體牆正在惡化：頻寬難以追上算力成長 從 2019 至 2027 年的實際產品數據來看，GPU 算力沿著 A100、H100、MI300X、B200 一路攀升，成長速度維持在每兩年約 3 倍；HBM 頻寬從 HBM2E 演進至 HBM4，成長速度卻只有每兩年不到 2 倍。 記憶體牆：2017 至 2027 年間 GPU 算力的成長軌跡差距 複利效應下，每隔兩年算力對記憶體的需求缺口就額外擴大 1.5 倍，長期累積的鴻溝極為可觀。 HBM 為何難以取代？Roofline Model 的工程邏輯 美光以 Roofline Model（屋頂線模型）說明 HBM 的核心價值。AI 訓練與推論中的大量運算落在「記憶體瓶頸區（Memory Bound）」，處理器在等待資料送達期間無法發揮效能。 Roofline Model：HBM 透過提升頻寬上限將屋頂線上移，使記憶體密集型 AI 工作負載達到更高效能 HBM 的作用是將頻寬上限整體上移，使更多 AI 工作負載在觸及記憶體上限之前就進入算力飽和區，充分釋放 GPU 的理論峰值效能。 HBM 六代規格演進一次看：從「存多少」轉向「傳多快」 HBM 自 2014 年問世以來，六個世代的核心規格大幅躍升： HBM 六代規格對照表：涵蓋通道數、資料速率、標稱頻寬、DRAM 密度、堆疊高度及 Cube 容量等 資料速率從 1 Gbps 上升至 11 Gbps，成長 11 倍 標稱頻寬從 128 GB/s 躍升至 2,800 GB/s，成長 22 倍 HBM4 首次將 Data I/O 數量從前五代的 1,024 條翻倍增至 2,048 條，這是頻寬大幅躍升的主因之一 值得注意的是，HBM4 與 HBM3E 的單 die DRAM 密度同為 24 Gb，HBM4 的頻寬飛躍靠的是 IO 加倍與資料速率提升，而非更高的 die 密度，說明 HBM 的世代競爭重心已從「存多少」轉向「傳多快」。 矽晶面積比 GPU 多 8 倍：HBM 成 AI 加速器的真正主體 美光同時指出，在配備 8 顆 HBM4 的典型 AI 加速器封裝中，記憶體矽晶面積是 GPU 的 8 倍。換句話說，HBM 才是一顆 AI 加速器面積上最大的物理組成，GPU die 反而是少數。 矽面積比較圖：左側為 8 顆 HBM4 圍繞 2 顆 GPU die 的 SiP（System-In-Package）封裝，右側比較 GPU 與 HBM4（12-high）的矽晶面積，後者超過前者 8 倍以上 HBM vs. DDR5：頻寬領先 15 倍，但矽面積代價是 3 倍 在典型 GPU 配置下，HBM 系統總頻寬達 5.3 TB/s，DDR5 約為 300 GB/s，差距約 16 倍；單 die 頻寬方面，HBM3E 的 256 GB/s 對比 DDR5 的 8 GB/s，差距進一步擴大至 32 倍。AI 高序列存取...
HBM的前世今生：從各世代HBM看頻寬、堆疊與散熱瓶頸，封裝為何是關鍵戰場？
記憶體三大廠之一的美光（Micron, MU）於 Hot Chips 2026 大會發表演說，坦言 AI 算力每兩年成長 3 倍，超過 HBM 頻寬每年不到 2 倍的擴展速度，「記憶體牆（Memory Wall）」持續惡化。Meta Llama 3 訓練過程中高達 17% 的非預期中斷暴露 HBM 缺陷，進一步加劇記憶體可靠性危機。美光擔憂，若無製程、封裝與 IO 設計三個層面的顛覆性創新，HBM 當前路線恐更快面臨物理極限。 重點摘要： AI 算力成長速度（每兩年 3 倍）持續碾壓 HBM 頻寬（每兩年不到 2 倍），記憶體牆持續惡化 Meta Llama 3 的訓練中，約 17% 的意外中斷歸咎於 HBM 故障 典型 AI 加速器封裝中，HBM 矽晶面積比 GPU 多 8 倍 HBM4 頻寬達 2,800 GB/s，較 DDR5 高出 15 至 17 倍，但單位容量矽面積成本約為 DDR5 的 3 倍 密度越高、能效越差，疊高 stack 已非萬能解方 美光押注 Fusion Bonding、Glass Substrate、CPO 等破壞性創新封裝技術突圍 當前問題單一廠商難解決，需 HBM 供應商、晶圓代工/OSAT、SoC 設計、軟體與學術界全產業鏈合作 （記憶體牛市為何還能再漲五年？三指標看懂 HBM、DRAM、NAND 差在哪？） 從 Scaling Law 看記憶體地位：擴展 LLM 效能的核心 美光首先引述 OpenAI 的研究論文《Scaling Laws for Neural Language Models》作為開場。以三張冪次律曲線說明核心問題：LLM 的測試損失會隨算力、資料集大小與模型參數量的增加平滑下降，且三者必須同步擴展才能達到最佳效能。 算力效率前沿圖片 換言之，記憶體並非配角，而是驅動 LLM 持續進步的關鍵變數之一。沒有記憶體的同步擴展，算力的增加是無效的。 記憶體牆正在惡化：頻寬難以追上算力成長 從 2019 至 2027 年的實際產品數據來看，GPU 算力沿著 A100、H100、MI300X、B200 一路攀升，成長速度維持在每兩年約 3 倍；HBM 頻寬從 HBM2E 演進至 HBM4，成長速度卻只有每兩年不到 2 倍。 記憶體牆：2017 至 2027 年間 GPU 算力的成長軌跡差距 複利效應下，每隔兩年算力對記憶體的需求缺口就額外擴大 1.5 倍，長期累積的鴻溝極為可觀。 HBM 為何難以取代？Roofline Model 的工程邏輯 美光以 Roofline Model（屋頂線模型）說明 HBM 的核心價值。AI 訓練與推論中的大量運算落在「記憶體瓶頸區（Memory Bound）」，處理器在等待資料送達期間無法發揮效能。 Roofline Model：HBM 透過提升頻寬上限將屋頂線上移，使記憶體密集型 AI 工作負載達到更高效能 HBM 的作用是將頻寬上限整體上移，使更多 AI 工作負載在觸及記憶體上限之前就進入算力飽和區，充分釋放 GPU 的理論峰值效能。 HBM 六代規格演進一次看：從「存多少」轉向「傳多快」 HBM 自 2014 年問世以來，六個世代的核心規格大幅躍升： HBM 六代規格對照表：涵蓋通道數、資料速率、標稱頻寬、DRAM 密度、堆疊高度及 Cube 容量等 資料速率從 1 Gbps 上升至 11 Gbps，成長 11 倍 標稱頻寬從 128 GB/s 躍升至 2,800 GB/s，成長 22 倍 HBM4 首次將 Data I/O 數量從前五代的 1,024 條翻倍增至 2,048 條，這是頻寬大幅躍升的主因之一 值得注意的是，HBM4 與 HBM3E 的單 die DRAM 密度同為 24 Gb，HBM4 的頻寬飛躍靠的是 IO 加倍與資料速率提升，而非更高的 die 密度，說明 HBM 的世代競爭重心已從「存多少」轉向「傳多快」。 矽晶面積比 GPU 多 8 倍：HBM 成 AI 加速器的真正主體 美光同時指出，在配備 8 顆 HBM4 的典型 AI 加速器封裝中，記憶體矽晶面積是 GPU 的 8 倍。換句話說，HBM 才是一顆 AI 加速器面積上最大的物理組成，GPU die 反而是少數。 矽面積比較圖：左側為 8 顆 HBM4 圍繞 2 顆 GPU die 的 SiP（System-In-Package）封裝，右側比較 GPU 與 HBM4（12-high）的矽晶面積，後者超過前者 8 倍以上 HBM vs. DDR5：頻寬領先 15 倍，但矽面積代價是 3 倍 在典型 GPU 配置下，HBM 系統總頻寬達 5.3 TB/s，DDR5 約為 300 GB/s，差距約 16 倍；單 die 頻寬方面，HBM3E 的 256 GB/s 對比 DDR5 的 8 GB/s，差距進一步擴大至 32 倍。AI 高序列存取...
