被輝達（NVIDIA）收購的 AI 晶片新創 Groq，近日傳出正規劃改寫晶片的記憶體設計。韓媒 ZDNet 於 10 月 20 日報導，Groq 正評估在次世代晶片中導入 3D 封裝技術，並以 DRAM 取代原本作為設計核心的 SRAM，目的是大幅拉高單顆晶片的記憶體容量。

Groq 次世代晶片設計轉向！擬以 DRAM 取代 SRAM

ZDNet 引述兩位匿名半導體業界人士說法指出，Groq 正檢討將 3D 封裝技術應用於次世代晶片，做法是以 DRAM 取代現行設計中的 SRAM。一位業界人士表示，Groq 計畫在新晶片導入 3D 封裝，內容是堆疊 DRAM，而不是沿用 SRAM。

3D 封裝是把多顆半導體晶粒（Die）垂直堆疊，使其像單一晶片般運作。報導指出，這種方式相較於傳統 2D 平面設計，能縮小面積，也有機會提升電源效率。

Groq 由 Google TPU 設計者之一 Jonathan Ross 於 2016 年創立，公司在去年被輝達收購。過去有關旗下「Groq 3 LPX」已進入大量生產的消息，顯示 Groq 產品線仍在輝達體系內持續推進。

3DS 是什麼？與 HBM 的差異在容量

報導指出，Groq 採用的方式據悉為 3DS（3D Stacked Memory），以矽穿孔（TSV）將 DRAM 晶粒垂直連接，形成高容量封裝。這與高頻寬記憶體（HBM）同樣使用 TSV，但設計目標不同。HBM 著重資料傳輸速率，3DS 則是維持既有 DRAM 介面，把重點放在擴充容量。

記憶體堆疊技術並非只有 Groq 在推進，鏈新聞先前報導，SK 海力士已啟動 3D 堆疊 DRAM-on-Logic 的商業化佈局，該技術將 DRAM 直接堆疊在邏輯晶片上，藉由縮短物理距離並增加資料傳輸通道，以突破現行 PoP 封裝在頻寬與功耗上的限制，主要鎖定的是行動裝置端 AI。

兩者的差別在於架構，Groq 3DS 目前僅知是堆疊 DRAM 以擴充容量，而並未說明 DRAM 是否堆疊在運算晶粒之上。

為何是 DRAM？容量取捨迎合 AI 推論

ZDNet 指出，Groq 過去的設計以 SRAM 為中心，速度快，但容量小；DRAM 相對較慢，卻更適合實現大容量。報導解讀，Groq 此舉是想擺脫既有設計的容量限制。另一位業界人士分析，整體市場正朝向更大的晶片發展，Groq 因此選擇在容量上較有優勢的 DRAM。

若從 AI 推論的角度推演，這個取捨相當合理。LLM 的參數與上下文長度持續成長，所需的記憶體容量也隨之水漲船高，單靠 SRAM 容易受限。

然而，SRAM 的優勢在於速度與延遲，改採 DRAM 之後，這些特性能否維持，目前仍無法確定。後續仍待 Groq 或輝達說明，才能判斷這項設計轉向的真實性與實際影響。

• 本文經授權轉載自：《鏈新聞》

• 原文標題：《輝達前進次世代記憶體晶片！Groq 傳導入 3D 堆疊 DRAM、迎 AI 推論需求》

• 原文作者：Crumax

『輝達迎AI推論需求！Groq傳導入3D堆疊DRAM，佈局次世代記憶體晶片』這篇文章最早發佈於『加密城市』