Nvidia и Microsoft стремятся помочь компаниям запускать более дешёвые открытые модели ИИ на собственных условиях — в центрах обработки данных Azure, на заводском оборудовании и ПК с Windows. По словам Nvidia, бухгалтерский гигант EY сократил расходы в 15 раз, перейдя на такие модели.
Ключевые выводы
По данным Nvidia, EY настроила открытые модели Nemotron от Nvidia, повысив точность на 55% и сократив расходы в 15 раз по сравнению с передовыми проприетарными моделями
Виртуальные машины Azure на базе систем Nvidia Vera Rubin NVL72 работают в центрах обработки данных Azure
Microsoft Foundry добавляет доступность открытых моделей Nvidia для клиентов и возможности их настройки
Azure Local будет поддерживать графические процессоры RTX PRO 6000 Blackwell и расширит поддержку Jetson Thor и Jetson Orin
Облачные ПК Windows 365 с ускорением на графических процессорах получат Direct Stream в ограниченной предварительной версии; общедоступная предварительная версия запланирована на начало 2027 года
Nvidia объявила о расширении на Microsoft Ignite, где компании рассказали о новых вариантах доступа — через виртуальные машины Azure, локальную инфраструктуру, промышленные системы и ПК с Windows.
Microsoft также использует технологии Nvidia в собственной работе над ИИ, в том числе ПО для инференса Dynamo при постобучении и графические процессоры RTX PRO 6000 Blackwell для поисковых моделей Bing.
От Azure до локальных систем
Виртуальные машины Azure на базе систем Nvidia Vera Rubin NVL72 теперь работают в центрах обработки данных Azure. Эта инфраструктура предназначена для ресурсоёмких задач рассуждения, агентных приложений, а также обучения и инференса крупных моделей.
Компании также сотрудничают, чтобы распространить конфиденциальные вычисления на инфраструктуру ИИ на базе серверов без гипервизора и стоек. Nvidia Confidential Computing и аттестация помогают клиентам проверить вычислительную среду, прежде чем передать ей конфиденциальные модели, данные или ключи. Эта мера защиты предназначена для организаций, работающих с собственной или регулируемой информацией.
Nvidia и Microsoft также работают над повышением энергоэффективности с помощью Nvidia MaxLPS. В MLPerf Training v6.1 Azure масштабировалась до 10 240 графических процессоров Nvidia в системах GB200 NVL72 на модели DeepSeek-V3, что Nvidia назвала крупнейшим масштабом в этом раунде. В MLPerf Inference v6.1 системы Azure на базе Nvidia GB300 NVL72 показали в облачных тестах на DeepSeek-R1 интерактивную пропускную способность более чем на 10% выше, согласно Signal65.
Читайте также: модификация Nvidia GeForce обещает вдвое ускорить ИИ на домашних ПК
Как Foundry добавляет открытые модели
В Microsoft Foundry расширяется доступность открытых моделей Nvidia и возможностей их настройки для клиентов. Бессерверная функция Programmed Training от Microsoft позволяет разработчикам управлять процессами постобучения, а Foundry берёт на себя обслуживание базовой инфраструктуры. Foundry Managed Compute добавляет поддержку развёртывания моделей с пользовательскими весами.
EY использовала Programmed Training в Microsoft Foundry, чтобы адаптировать открытые модели Nvidia Nemotron для классификации корпоративных записей о закупках. EY повысила точность на своём оценочном наборе данных на 55% и снизила стоимость в 15 раз по сравнению с проприетарными передовыми моделями.
Модель NemotronОписаниеПрименение в корпоративной средеNemotron 3.5 SuperСоздана для длительно работающих агентов, выполняющих задачи программирования, исследований и бизнес-процессовLightningПредназначена для приложений, которым нужны быстрые ответы и использование инструментовEmbed And RerankПомогает агентам находить релевантную информациюParseИзвлекает из документов структурированную информациюContent SafetyОбнаруживает вредоносный контентBolt And TranscribeСкоро появятся модели для рассуждений с высокой пропускной способностью и низкой задержкой, а также распознавания речи
Расширенная поддержка Nemotron 3.5 в Foundry Local позволяет использовать в средах Azure Local модели для рассуждений, программирования и агентной работы с инструментами. Модели для поиска помогают приложениям находить подтверждающие данные в текстах, изображениях документов, диаграммах и таблицах. В Foundry Local также добавляют физические ИИ-модели Nvidia, включая Cosmos.
Почему это важно
Особого внимания заслуживает результат EY. Открытые модели можно скачать, обучить на собственных данных компании и запускать на собственном оборудовании — вместо того чтобы платить за каждый запрос закрытой модели одного поставщика. Если дообученная открытая модель справляется с узкой задачей лучше передовой модели и обходится в пятнадцать раз дешевле, многие компании зададутся вопросом, зачем они платят по высшему тарифу за повседневные задачи вроде сортировки записей о закупках.
Microsoft оказывается в интересном положении. Компания продаёт через Azure доступ к крупнейшим закрытым моделям, а теперь также помогает клиентам заменять их более дешёвыми моделями Nvidia для отдельных задач. В любом случае выигрывает Nvidia, поскольку оба варианта работают на её чипах: от стоек Vera Rubin NVL72 в Azure до графических процессоров RTX в офисных ПК.
За чем следить дальше
Azure Local также будет поддерживать графические процессоры Nvidia RTX PRO 6000 Blackwell от аппаратных партнёров, предоставляя организациям дополнительные варианты развёртывания ИИ локально. Поддержка также расширяется на периферийные ИИ-платформы Nvidia Jetson Thor и Jetson Orin для промышленных задач, таких как машинное зрение, робототехника и автономные операции.
На ПК с Windows и Nvidia RTX Spark компании представят на Ignite сценарии локального использования больших языковых моделей. Для организаций, использующих облачные ПК Windows 365, Direct Stream поддерживает ресурсоёмкие графические приложения, обеспечивая до двух потоков 4K с частотой 60 кадров в секунду и низкой задержкой даже в сложных сетевых условиях. Регистрация для участия в ограниченной предварительной версии уже открыта, а общедоступная предварительная версия запланирована на начало 2027 года.
Главное испытание — внедрение. Следите за тем, будут ли другие компании публиковать данные о стоимости и точности, подобные показателям EY, и появятся ли Bolt и Transcribe — две модели Nemotron 3.5, выход которых заявлен в ближайшее время, — в Foundry достаточно скоро, чтобы перенести туда больше задач с дорогих закрытых моделей.
Для научных исследований Nvidia BioNemo Agent Toolkit и Nvidia ALCHEMI Toolkit добавляются в каталог Microsoft Discovery. В рамках первоначальной интеграции используется модель RFD4-Proteina, разработанная совместно с Институтом проектирования белков Вашингтонского университета. Она генерирует возможные структуры белков и последовательности аминокислот для дальнейшей оценки и лабораторной проверки.
Читайте далее: Cohere скрывает данные пациентов и банковские данные от посторонних в Azure