Groq, công ty khởi nghiệp sản xuất chip AI được NVIDIA mua lại, gần đây được cho là đang lên kế hoạch thiết kế lại bộ nhớ trên chip. Ngày 20 tháng 10, truyền thông Hàn Quốc ZDNet đưa tin Groq đang đánh giá việc ứng dụng công nghệ đóng gói 3D vào chip thế hệ tiếp theo, đồng thời thay SRAM vốn là cốt lõi trong thiết kế hiện tại bằng DRAM, nhằm tăng đáng kể dung lượng bộ nhớ trên mỗi chip.

Thiết kế chip thế hệ tiếp theo của Groq chuyển hướng! Dự kiến thay SRAM bằng DRAM

ZDNet dẫn lời hai nguồn tin giấu tên trong ngành bán dẫn cho biết Groq đang xem xét ứng dụng công nghệ đóng gói 3D vào chip thế hệ tiếp theo, bằng cách thay SRAM trong thiết kế hiện tại bằng DRAM. Một nguồn tin trong ngành cho biết Groq dự định áp dụng công nghệ đóng gói 3D cho chip mới, với DRAM được xếp chồng lên nhau thay vì tiếp tục sử dụng SRAM.

Đóng gói 3D là phương pháp xếp chồng theo chiều dọc nhiều khuôn bán dẫn (Die), giúp chúng hoạt động như một chip duy nhất. Theo bài báo, so với thiết kế phẳng 2D truyền thống, phương pháp này có thể giảm diện tích và có khả năng cải thiện hiệu suất năng lượng.

Groq được thành lập năm 2016 bởi Jonathan Ross, một trong những người thiết kế TPU của Google. Công ty đã được Nvidia mua lại vào năm ngoái. Thông tin trước đây cho biết sản phẩm «Groq 3 LPX» đã bước vào giai đoạn sản xuất hàng loạt, cho thấy dòng sản phẩm của Groq vẫn đang được phát triển trong hệ sinh thái Nvidia.

3DS là gì? Khác biệt với HBM nằm ở dung lượng

Theo bài báo, Groq được cho là sử dụng công nghệ 3DS (bộ nhớ xếp chồng 3D), kết nối các khuôn DRAM theo chiều dọc bằng các lỗ xuyên silicon (TSV) để tạo thành một gói có dung lượng lớn. Công nghệ này cũng sử dụng TSV như bộ nhớ băng thông cao (HBM), nhưng có mục tiêu thiết kế khác nhau. HBM tập trung vào tốc độ truyền dữ liệu, còn 3DS giữ nguyên giao diện DRAM hiện có và chú trọng mở rộng dung lượng.

Groq không phải là công ty duy nhất phát triển công nghệ xếp chồng bộ nhớ. Trước đây, Chain News từng đưa tin SK hynix đã bắt đầu triển khai thương mại hóa DRAM-on-Logic xếp chồng 3D. Công nghệ này xếp trực tiếp DRAM lên chip logic, rút ngắn khoảng cách vật lý và tăng số kênh truyền dữ liệu nhằm vượt qua những hạn chế về băng thông và mức tiêu thụ điện của công nghệ đóng gói PoP hiện nay. Công nghệ này chủ yếu nhắm đến AI trên thiết bị di động.

Khác biệt giữa hai công nghệ nằm ở kiến trúc. Hiện chỉ biết Groq 3DS xếp chồng DRAM để mở rộng dung lượng, nhưng chưa có thông tin cho biết DRAM có được xếp chồng lên trên khuôn xử lý hay không.

Vì sao chọn DRAM? Sự đánh đổi về dung lượng phù hợp với nhu cầu suy luận AI

ZDNet cho biết các thiết kế trước đây của Groq lấy SRAM làm trung tâm: tốc độ cao nhưng dung lượng nhỏ. DRAM tương đối chậm hơn nhưng phù hợp hơn để đạt dung lượng lớn. Bài báo nhận định động thái này của Groq nhằm thoát khỏi giới hạn dung lượng của thiết kế hiện tại. Một người trong ngành khác phân tích rằng toàn thị trường đang hướng đến những con chip lớn hơn, vì vậy Groq lựa chọn DRAM vốn có lợi thế hơn về dung lượng.

Xét từ góc độ suy luận AI, sự đánh đổi này khá hợp lý. Số lượng tham số và độ dài ngữ cảnh của LLM không ngừng tăng, kéo theo nhu cầu về dung lượng bộ nhớ ngày càng lớn; chỉ dựa vào SRAM thì dễ bị giới hạn.

Tuy nhiên, ưu thế của SRAM nằm ở tốc độ và độ trễ. Hiện vẫn chưa rõ liệu những đặc tính này có thể được duy trì sau khi chuyển sang DRAM hay không. Cần chờ Groq hoặc Nvidia đưa ra giải thích để đánh giá tính xác thực và tác động thực tế của sự thay đổi thiết kế này.

• Bài viết được đăng lại theo sự cho phép từ: (Chain News)

• Tiêu đề bài viết gốc: (Nvidia tiến vào thế hệ chip bộ nhớ tiếp theo! Groq được cho là sẽ tích hợp DRAM xếp chồng 3D để đáp ứng nhu cầu suy luận AI)

• Tác giả bài viết gốc: Crumax

Bài viết «Nvidia đáp ứng nhu cầu suy luận AI! Groq được cho là sẽ tích hợp DRAM xếp chồng 3D, phát triển chip bộ nhớ thế hệ tiếp theo» được đăng lần đầu trên «Crypto City»