Nhu cầu AI đẩy giá DRAM tăng cao, ngay cả các doanh nghiệp thông thường không chạy tác vụ AI cũng cảm nhận được áp lực giá bộ nhớ leo thang. Trước tình hình đó, AMD công bố bộ máy bộ nhớ dự đoán «MEXT», tuyên bố máy chủ chỉ cần sử dụng một nửa DRAM vẫn có thể duy trì hiệu năng lên đến 95%, qua đó giúp giảm bớt tình trạng khan hiếm bộ nhớ. Bài viết này phân tích nguyên lý hoạt động của MEXT, dữ liệu thử nghiệm AMD công bố và những hạn chế hiện tại.
MEXT là gì? Đưa các trang bộ nhớ ít dùng vào bộ nhớ flash, rồi dùng AI dự đoán để gọi chúng trở lại
Theo Tom’s Hardware, ý tưởng cốt lõi của MEXT không phức tạp: trong bộ nhớ máy chủ thực ra có rất nhiều «trang bộ nhớ lạnh» (cold memory pages) đã lâu không được truy cập. MEXT chuyển những trang này sang bộ nhớ flash có chi phí thấp hơn (SSD NVMe), sau đó dùng mô hình AI dự đoán những trang nào sắp được sử dụng và chuyển chúng trở lại DRAM trước khi cần.
Đối với hệ điều hành, phần bộ nhớ được chuyển ra ngoài vẫn được tính là DRAM đã lắp đặt. Theo Gary Smerdon, nhà sáng lập AMD và MEXT, tùy thuộc vào ứng dụng và mục tiêu hiệu năng, máy chủ có thể giảm 20% đến 75% lượng DRAM vật lý sử dụng.
AMD đưa ra ví dụ cho thấy trang lạnh phổ biến đến mức nào: “Một hệ thống 1.5TB trông như đã dùng hết bộ nhớ, nhưng tại bất kỳ thời điểm nào, khoảng một nửa số trang đã không được truy cập trong hơn năm phút.” Khi đó, công cụ RAM View đi kèm được dùng để theo dõi trang nào đang nóng, trang nào đang lạnh.
Mổ xẻ công nghệ: Dự đoán trang bộ nhớ tiếp theo để giảm nhu cầu DRAM
Bài viết cho biết cốt lõi của MEXT là mô hình dựa trên kiến trúc Transformer. Tuy nhiên, khác với LLM dự đoán từ tiếp theo, mô hình này dự đoán trang bộ nhớ sẽ được sử dụng tiếp theo. Chỉ cần dự đoán đủ chính xác và đưa trang trở lại DRAM trong khoảng thời gian truyền tải của SSD thì hiệu năng sẽ đạt yêu cầu. Các trang cũng không cần được đưa trở lại theo thứ tự; chỉ cần chúng vào DRAM trước khi được sử dụng.
Về triển khai, MEXT hoạt động dưới dạng mô-đun nhân Linux, tương thích với mọi bản phân phối Linux. Mô hình không cần được huấn luyện trước; thời gian huấn luyện trong lần triển khai đầu tiên chưa đến một giây, chỉ sử dụng một lõi EPYC, không cần GPU và liên tục học hỏi theo sự thay đổi của khối lượng công việc.
Đây cũng là con dao hai lưỡi của MEXT: thành bại không phụ thuộc vào hiệu năng trung bình mà nằm ở độ chính xác dự đoán. Một khi dự đoán sai, trang phải được đọc tức thời từ SSD, và độ trễ sẽ ảnh hưởng đến ứng dụng. Dữ liệu AMD được bài viết trích dẫn không cho thấy số liệu về tỷ lệ dự đoán chính xác.
Thử nghiệm nội bộ của AMD: Cắt giảm một nửa DRAM mà vẫn giữ nguyên hiệu năng?
AMD công bố một số kết quả thử nghiệm nội bộ: Synopsys PrimeTime đạt 95% hiệu năng khi chỉ còn một nửa DRAM và 80% khi DRAM giảm xuống còn 25%. Trong cụm ba nút được xây dựng bằng EPYC thế hệ thứ năm trên Azure, Spark SQL duy trì 99% hiệu năng khi chỉ còn một nửa DRAM. Với Agentic AI, khi năm tác nhân chạy đồng thời, hệ thống vẫn duy trì 99% hiệu năng khi chỉ còn một nửa DRAM và 85% khi còn 25%.
AMD nhấn mạnh rằng mức giảm dung lượng hợp lý đối với phần lớn khối lượng công việc là khoảng 20% đến 25%. Mức cắt giảm càng lớn thì giải pháp càng cần được tinh chỉnh cho từng ứng dụng cụ thể, đồng thời khoảng cách hiệu năng và độ bất ổn cũng càng tăng.
Máy chủ MEXT Ready ra mắt: dự kiến triển khai tới 2,000 máy vào năm 2027
AMD đã triển khai MEXT trên 145 máy chủ nội bộ, dự kiến mở rộng lên 2,000 máy vào năm tới và hợp tác với HPE để đưa MEXT đến khách hàng. Hiện giải pháp đang ở giai đoạn đầu: một số máy chủ EPYC Venice sẽ mang nhãn “MEXT Ready” và được trang bị ổ NVMe chuyên dụng hoặc khe cắm mở rộng. Ở giai đoạn hai, giấy phép MEXT sẽ được cung cấp cùng với RAM View, nhưng AMD chưa công bố thời gian triển khai.
Hiện tại, MEXT chỉ hỗ trợ EPYC nên phạm vi ứng dụng khá hạn chế. Trong tương lai, công nghệ này có thể mở rộng sang các sản phẩm tiêu dùng như Strix Halo, nhưng có lẽ vẫn còn rất lâu mới hiện thực hóa được.
(EPYC Venice thế hệ thứ sáu của AMD bắt đầu xuất xưởng! CPU máy chủ 2 nanomet đầu tiên của TSMC ra mắt)
Bài viết này Cắt giảm một nửa DRAM mà vẫn duy trì 95% hiệu năng? Mổ xẻ cách AMD MEXT đối phó với tình trạng khan hiếm bộ nhớ xuất hiện đầu tiên tại .
【Phân tích mở rộng】
【Quan điểm mở rộng của tôi】
Về bản chất, công nghệ MEXT của AMD là chiến lược dùng “kiến trúc và thuật toán do phần mềm định nghĩa” để giảm nhẹ vấn đề “chi phí phần cứng quá cao”. Việc đưa kiến trúc Transformer từ tầng ứng dụng xuống nhân hệ điều hành để dự đoán trang bộ nhớ đánh dấu bước tiến cho thấy công nghệ AI đã ăn sâu vào việc tối ưu hóa hạ tầng. Nếu công nghệ này hoàn thiện, tổng chi phí sở hữu (TCO) của các trung tâm dữ liệu sẽ giảm đáng kể. Logic mua sắm máy chủ có thể chuyển từ việc đơn thuần lắp thêm DRAM đắt tiền sang “CPU tính toán hiệu năng cao + SSD NVMe tốc độ cao + điều phối thông minh”, thúc đẩy phổ biến phân tầng bộ nhớ (Memory Tiering).
【Ảnh hưởng thị trường】
1. **Thị trường Mỹ**:
- **AMD (AMD.US, thiên hướng tích cực)**: Công nghệ này có thể cải thiện hiệu quả tỷ lệ giá/hiệu năng của toàn bộ máy chủ EPYC, nới rộng khoảng cách với Intel và góp phần mở rộng thị phần máy chủ.
- **Các nhà sản xuất bộ nhớ lớn (như Micron MU.US, SK Hynix, trung lập hơi tiêu cực)**: Nếu nhu cầu DRAM trên mỗi máy chủ giảm 20%~50%, lợi nhuận từ làn sóng tăng giá DRAM có thể suy yếu trong ngắn hạn và trung hạn.
- **Các nhà sản xuất SSD doanh nghiệp (như Western Digital WDC.US, thiên hướng tích cực)**: Việc di chuyển trang lạnh thường xuyên sẽ làm tăng mức độ phụ thuộc và lượng mua SSD NVMe có độ bền cao, băng thông lớn.
2. **Thị trường chứng khoán Đài Loan**:
- **Phison (8299, thiên hướng tích cực)**: Nhu cầu chip điều khiển SSD doanh nghiệp được kỳ vọng sẽ tăng cùng với việc triển khai MEXT.
- **Các nhà sản xuất máy chủ theo hợp đồng (Quanta 2382, Wiwynn 6669, trung lập hơi tích cực)**: Giải pháp này giúp giảm ngưỡng đầu tư cho khách hàng, thúc đẩy tổng lượng xuất xưởng máy chủ AMD.
【Những điểm cần theo dõi tiếp】
1. **Độ chính xác dự đoán thực tế**: Trong môi trường nhiều người thuê phức tạp và khối lượng công việc cực đoan, độ trễ đuôi (Tail Latency) do dự đoán sai có ảnh hưởng đến các hoạt động kinh doanh thiết yếu hay không.
2. **Ý định mua sắm của CSP**: Quy mô mua sắm thực tế và tiến độ xác minh máy chủ MEXT Ready của các nhà cung cấp dịch vụ đám mây lớn (như AWS, Azure).
3. **Động thái đáp trả của đối thủ cạnh tranh**: Liệu Intel hoặc NVIDIA có đưa ra giải pháp tương tự hiệu quả, tích hợp phần cứng và phần mềm để nén hoặc phân tầng bộ nhớ hay không.
【Lưu ý rủi ro】
Dự đoán sai có thể dẫn đến việc đọc ghi SSD thường xuyên, gây tăng đột biến độ trễ ứng dụng và đẩy nhanh quá trình hao mòn SSD. Ngoài ra, ở giai đoạn hiện tại, giải pháp chỉ hỗ trợ bộ xử lý EPYC; nếu không thể nhanh chóng mở rộng sang các hệ sinh thái khác, tốc độ thương mại hóa có thể không đạt kỳ vọng.