Amazon Web Services đã đưa hệ thống chia sẻ chip của Nvidia vào SageMaker để nhiều mô hình có thể chạy đồng thời trên cùng một chip đồ họa thông qua một endpoint, qua đó giảm chi phí cho mỗi yêu cầu.

Điểm chính

  • SageMaker Inference hiện hỗ trợ các phân vùng Nvidia Multi-Instance GPU (MIG), cho phép nhiều mô hình khác nhau trên cùng một endpoint dùng chung một bộ tăng tốc

  • AWS đã bổ sung hai trường API tùy chọn để khách hàng có thể đặt endpoint trên toàn bộ GPU hoặc một lát cắt MIG cụ thể

  • Các phân vùng MIG cấp cho mỗi lát cắt bộ nhớ và tài nguyên tính toán riêng, nhờ đó cô lập tài nguyên ở cấp phần cứng

  • Việc xếp các tác vụ hỗn hợp lên một bộ tăng tốc có thể tăng mức sử dụng và giảm chi phí trên mỗi yêu cầu cho các cụm suy luận

AWS cho biết trong một bài đăng blog hôm thứ Sáu rằng SageMaker Inference hiện hỗ trợ Multi-Instance GPU cho các endpoint mô hình. Nvidia mô tả MIG là công nghệ phân vùng phần cứng, biến một GPU vật lý thành nhiều phiên bản biệt lập.

Amazon Web Services vận hành hạ tầng đám mây và các sản phẩm học máy, còn SageMaker Inference là hệ thống được quản lý của hãng để phục vụ mô hình thông qua các endpoint vận hành thực tế.

Hỗ trợ mới giải quyết một bài toán kinh tế cơ bản trong việc phục vụ AI: các mô hình nhỏ và vừa thường không tận dụng hết một GPU hiện đại.

Một GPU, nhiều tác vụ sinh lợi hơn

Một endpoint chuyên dụng mang lại hiệu năng ổn định cho mô hình, nhưng cũng có thể khiến năng lực tính toán đắt đỏ bị bỏ phí. Nếu mô hình chỉ cần một phần GPU, phần chưa dùng đến vẫn bị dành riêng và tính phí.

MIG giải quyết vấn đề này bằng cách phân chia chip ở cấp độ phần cứng. Mỗi phân vùng có bộ nhớ và tài nguyên tính toán riêng, nhờ đó một mô hình nhỏ có thể dùng chung GPU với mô hình khác mà không cần đến các thủ thuật chia sẻ chỉ bằng phần mềm.

Điều này đặc biệt quan trọng với các cụm suy luận có tác vụ hỗn hợp. Một công ty có thể cùng lúc phục vụ chatbot, mô hình phân loại và mô hình nhúng, mỗi loại có kiểu lưu lượng khác nhau.

Xếp chúng lên cùng một bộ tăng tốc có thể tăng mức sử dụng và giảm chi phí trên mỗi yêu cầu.

Từ cuộc đua huấn luyện đến biên lợi nhuận phục vụ

Thị trường AI đã dành hai năm bàn về việc mua thêm GPU. Cuộc cạnh tranh tiếp theo là tạo thêm doanh thu từ những GPU vốn đã được lắp trong các giá máy chủ.

Suy luận, chứ không phải huấn luyện, là nơi nhiều hóa đơn đám mây trở thành chi phí vận hành định kỳ.

Cũng đọc: Amazon cho biết thủ thuật bộ nhớ mới có thể giảm chi phí chatbot

Bản cập nhật hôm thứ Sáu nối tiếp một xu hướng chuyển dịch rộng hơn trên toàn bộ nền tảng đám mây. Thay vì mặc định mỗi bộ tăng tốc chỉ chạy một mô hình lớn, các nhà cung cấp đang tối ưu hệ thống dựa trên phân mảnh, cách ly và lập lịch.

Đây là những vấn đề ít hào nhoáng hơn, nhưng chúng quyết định liệu các sản phẩm AI có thể duy trì biên lợi nhuận khi mở rộng quy mô hay không.

AWS không giới hạn tính năng này cho một dòng mô hình cụ thể. Nhờ vậy, tính năng có thể hữu ích rộng rãi cho các nhóm triển khai mô hình hình ảnh, mô hình ngôn ngữ nhỏ hơn hoặc hệ thống chuyên biệt theo tác vụ vốn không cần quyền truy cập độc quyền vào chip cao cấp.

SageMaker sử dụng Nvidia Multi-Instance GPU như thế nào

SageMaker Inference quản lý các máy chủ trả lời yêu cầu gửi đến mô hình sau khi quá trình huấn luyện kết thúc. Endpoint mô hình là dịch vụ đang hoạt động, tiếp nhận lời nhắc hoặc dữ liệu rồi trả về dự đoán. Khi bật MIG, AWS có thể bố trí một thành phần suy luận trên một phần xác định của GPU Nvidia tương thích, thay vì dùng toàn bộ thiết bị.

Thay đổi then chốt là khả năng cách ly ở lớp phần cứng.

Bộ lập lịch phần mềm có thể chia sẻ GPU theo thời gian, nhưng một tác vụ gây tải đột biến vẫn có thể ảnh hưởng đến tác vụ khác. MIG phân chia tài nguyên trước khi các tác vụ chạy, nhờ đó mỗi phân vùng có dung lượng và bộ nhớ được dành riêng.

Điều đó giúp dễ đánh giá độ trễ và phạm vi ảnh hưởng khi xảy ra lỗi.

Với các công ty khởi nghiệp và nhóm nền tảng nội bộ, lợi ích không chỉ là giảm chi phí. MIG còn giúp việc ghép phần cứng với quy mô tác vụ trở nên dễ dàng hơn.

Một mô hình kiểm duyệt gọn nhẹ giờ đây không cần phải chạy đơn độc trên cùng loại bộ tăng tốc vốn dành cho các hệ thống lớn hơn nhiều.

Độ phức tạp vận hành và các quyết định bố trí

Phân vùng GPU có thể giảm lãng phí, nhưng cũng làm tăng các lựa chọn bố trí. Giờ đây, các nhóm cần quyết định khi nào nên dùng GPU đầy đủ, khi nào nên dùng một phân vùng và cách cân bằng lại khi lưu lượng thay đổi.

Điều đó khiến khả năng quan sát trở nên quan trọng.

Nếu một endpoint phát triển vượt quá phân vùng của nó, độ trễ sẽ tăng và lợi ích tiết kiệm sẽ biến mất. Những thiết lập hiệu quả nhất sẽ là những thiết lập kết nối được kích thước mô hình, lưu lượng và chính sách phân vùng mà không buộc kỹ sư phải quản lý tỉ mỉ từng endpoint.

Đọc tiếp: Nvidia cho biết hiện có 8.000 tổ chức sử dụng các công cụ nghiên cứu 6G của hãng