Nvidia và Microsoft đang thúc đẩy doanh nghiệp chạy các mô hình AI mở với chi phí thấp hơn theo cách riêng của mình, từ trung tâm dữ liệu Azure đến máy móc nhà máy và PC Windows. Nvidia cho biết tập đoàn kế toán EY đã giảm chi phí 15 lần sau khi chuyển đổi.
Điểm chính
Nvidia cho biết EY đã tinh chỉnh các mô hình mở Nemotron của hãng, giúp tăng độ chính xác 55% và giảm chi phí 15 lần so với các mô hình tiên phong độc quyền
Các máy ảo Azure chạy trên hệ thống Nvidia Vera Rubin NVL72 đang hoạt động tại các trung tâm dữ liệu Azure
Microsoft Foundry đang bổ sung khả năng cung cấp các mô hình mở của Nvidia cho khách hàng cùng các tính năng tùy chỉnh
Azure Local sẽ hỗ trợ GPU RTX PRO 6000 Blackwell và mở rộng sang Jetson Thor cùng Jetson Orin
Cloud PC Windows 365 tăng tốc bằng GPU sẽ có Direct Stream trong bản xem trước giới hạn; bản xem trước công khai dự kiến ra mắt vào đầu năm 2027
Nvidia công bố đợt mở rộng này tại Microsoft Ignite, nơi hai công ty đưa ra các phương thức truy cập mới trên máy ảo Azure, hạ tầng tại chỗ, hệ thống công nghiệp và máy tính Windows.
Microsoft cũng đang sử dụng công nghệ Nvidia trong các hoạt động AI của riêng mình, bao gồm phần mềm suy luận Dynamo cho giai đoạn hậu huấn luyện và GPU RTX PRO 6000 Blackwell cho các mô hình tìm kiếm Bing.
Từ Azure đến hệ thống tại chỗ
Các máy ảo Azure chạy trên hệ thống Nvidia Vera Rubin NVL72 hiện đã hoạt động tại các trung tâm dữ liệu Azure. Hạ tầng này được thiết kế cho các tác vụ suy luận đòi hỏi cao, ứng dụng tác tử và huấn luyện, suy luận mô hình ở quy mô lớn.
Hai công ty cũng đang hợp tác để mở rộng điện toán bảo mật sang hạ tầng AI bare-metal và quy mô tủ máy. Nvidia Confidential Computing và cơ chế chứng thực giúp khách hàng xác minh môi trường điện toán trước khi cung cấp mô hình, dữ liệu hoặc khóa nhạy cảm — một biện pháp bảo vệ dành cho các tổ chức xử lý thông tin độc quyền hoặc thuộc diện quản lý.
Nvidia và Microsoft cũng đang hợp tác về hiệu quả năng lượng bằng Nvidia MaxLPS. Trong MLPerf Training v6.1, Azure mở rộng lên 10.240 GPU Nvidia với các hệ thống GB200 NVL72 trên mô hình DeepSeek-V3; Nvidia mô tả đây là quy mô lớn nhất trong vòng thử nghiệm này. Trong MLPerf Inference v6.1, các hệ thống Nvidia GB300 NVL72 của Azure dẫn đầu các kết quả gửi lên từ nền tảng đám mây về thông lượng tương tác trên DeepSeek-R1 với mức cao hơn 10%, theo Signal65.
Cũng nên đọc: Bản mod Nvidia GeForce hứa hẹn tăng tốc AI trên PC gia đình lên đến 2 lần
Foundry bổ sung các mô hình mở như thế nào
Thông qua Microsoft Foundry, khách hàng ngày càng có thể sử dụng các mô hình mở của Nvidia và các khả năng tùy chỉnh. Programmed Training không máy chủ của Microsoft cho phép nhà phát triển kiểm soát quy trình hậu huấn luyện, trong khi Foundry quản lý hạ tầng nền; Foundry Managed Compute bổ sung hỗ trợ triển khai trọng số mô hình tùy chỉnh.
EY đã sử dụng Programmed Training trong Microsoft Foundry để điều chỉnh các mô hình mở Nvidia Nemotron nhằm phân loại hồ sơ mua hàng của doanh nghiệp. EY cải thiện độ chính xác trên tập dữ liệu đánh giá của mình thêm 55% và giảm chi phí 15 lần so với các mô hình tiên tiến độc quyền.
Mô hình Nemotron | Mô tả | Mục đích sử dụng trong doanh nghiệp: Nemotron 3.5 Super — được thiết kế cho các tác tử hoạt động trong thời gian dài, xử lý quy trình lập trình, nghiên cứu và nghiệp vụ; Lightning — dành cho ứng dụng cần phản hồi nhanh và sử dụng công cụ; Embed And Rerank — giúp tác tử tìm thông tin phù hợp; Parse — trích xuất thông tin có cấu trúc từ tài liệu; Content Safety — phát hiện nội dung có hại; Bolt And Transcribe — sắp ra mắt, phục vụ suy luận thông lượng cao, độ trễ thấp và nhận dạng giọng nói.
Việc mở rộng hỗ trợ Nemotron 3.5 trong Foundry Local đưa khả năng suy luận, lập trình và sử dụng công cụ của các tác tử đến các môi trường Azure Local. Các mô hình truy xuất giúp ứng dụng tìm bằng chứng trong văn bản, hình ảnh tài liệu, biểu đồ và bảng; các mô hình AI vật lý của Nvidia, bao gồm Cosmos, cũng đang được đưa vào Foundry Local.
Vì sao điều này quan trọng
Kết quả của EY là điều đáng chú ý. Các mô hình mở có thể được tải xuống, huấn luyện bằng dữ liệu riêng của công ty và chạy trên phần cứng của công ty, thay vì trả phí cho mỗi yêu cầu khi dùng mô hình đóng của một nhà cung cấp duy nhất. Nếu một mô hình mở được tinh chỉnh có thể vượt mô hình tiên tiến nhất trong một tác vụ chuyên biệt với chi phí chỉ bằng một phần mười lăm, nhiều doanh nghiệp sẽ tự hỏi tại sao họ phải trả mức giá cao nhất cho các tác vụ thường ngày như phân loại hồ sơ mua hàng.
Điều đó đặt Microsoft vào một vị thế thú vị. Công ty bán quyền truy cập vào những mô hình đóng lớn nhất thông qua Azure, đồng thời hiện cũng giúp khách hàng chuyển sang dùng các mô hình Nvidia rẻ hơn cho những công việc cụ thể. Nvidia đều có lợi trong cả hai trường hợp, vì cả hai hướng đều chạy trên chip của hãng, từ các tủ máy Vera Rubin NVL72 trong Azure đến GPU RTX trên máy tính văn phòng.
Điều gì cần theo dõi tiếp theo
Azure Local cũng sẽ hỗ trợ GPU Nvidia RTX PRO 6000 Blackwell từ các đối tác phần cứng, mang đến cho tổ chức thêm lựa chọn triển khai AI tại chỗ. Nền tảng này cũng mở rộng sang các nền tảng AI biên Nvidia Jetson Thor và Jetson Orin cho những ứng dụng công nghiệp như thị giác máy, robot và vận hành tự động.
Tại Ignite, các công ty sẽ giới thiệu trải nghiệm mô hình ngôn ngữ lớn chạy cục bộ trên máy tính Windows trang bị Nvidia RTX Spark. Với các tổ chức sử dụng Cloud PC Windows 365, Direct Stream hỗ trợ các ứng dụng đồ họa đòi hỏi cao với tối đa hai luồng 4K ở 60 khung hình/giây và độ trễ thấp, ngay cả trên những mạng có điều kiện khó khăn. Bản xem trước giới hạn hiện mở đăng ký; bản xem trước công khai dự kiến ra mắt vào đầu năm 2027.
Phép thử lớn hơn là mức độ ứng dụng. Hãy theo dõi xem có thêm công ty công bố các số liệu về chi phí và độ chính xác như EY hay không, và liệu Bolt cùng Transcribe — hai mô hình Nemotron 3.5 được thông báo sẽ sớm ra mắt — có xuất hiện trên Foundry kịp thời để chuyển thêm công việc khỏi các mô hình đóng đắt đỏ hay không.
Trong lĩnh vực nghiên cứu khoa học, Nvidia BioNemo Agent Toolkit và Nvidia ALCHEMI Toolkit đang được bổ sung vào danh mục Microsoft Discovery. Một tích hợp ban đầu sử dụng mô hình RFD4-Proteina, được phát triển cùng Viện Thiết kế Protein thuộc Đại học Washington, để tạo ra các cấu trúc protein và chuỗi axit amin tiềm năng nhằm đánh giá thêm và xác thực trong phòng thí nghiệm.
Đọc tiếp: Cohere che giấu dữ liệu bệnh nhân và ngân hàng khỏi người ngoài trên Azure