Доминирование Nvidia в сфере вычислений для искусственного интеллекта никогда не зависело только от графических процессоров.
Более десяти лет компания создавала вокруг CUDA программную экосистему, благодаря которой разработчикам проще использовать её оборудование, оптимизировать его и развёртывать решения в больших масштабах. Это преимущество в программном обеспечении стало одним из самых серьёзных барьеров, защищающих Nvidia от конкурентов, пытающихся выйти на рынок ИИ-ускорителей.
Теперь Google и Amazon напрямую атакуют этот барьер.
Обе компании представили новые инструменты с открытым исходным кодом, призванные упростить разработчикам запуск рабочих нагрузок PyTorch на собственных ИИ-процессорах. Google открыла доступ к TorchTPU для своих тензорных процессоров, а Amazon Web Services выпустила TorchNeuron для чипов Trainium.
Цель проста: значительно облегчить переход с оборудования Nvidia.
Google открывает TorchTPU для разработчиков PyTorch
20 октября Google объявила, что TorchTPU стал программным обеспечением с открытым исходным кодом, обеспечив нативную поддержку PyTorch для своей инфраструктуры TPU.
PyTorch — один из наиболее широко используемых фреймворков для разработки и развёртывания моделей искусственного интеллекта, поэтому совместимость становится всё важнее для любой компании, стремящейся конкурировать с Nvidia.
По словам Google, существующие рабочие нагрузки PyTorch можно запускать на TPU с минимальными изменениями кода, сохраняя привычные API и инструменты разработки.
TorchTPU также интегрируется с широко используемым ПО для ИИ, включая Hugging Face, vLLM, SGLang, Ray и TorchTitan.
Для разработчиков значение этого изменения не ограничивается технической стороной.
Перенос существующей задачи машинного обучения из одной экосистемы оборудования в другую традиционно требовал инженерной работы, проверки совместимости и оптимизации. Эти затраты на переход помогают закрепить пользователей за конкретным оборудованием.
Google пытается уменьшить эти сложности.
Если разработчики смогут переносить модели между графическими процессорами и TPU, не перестраивая значительную часть программного стека, то при выборе оборудования на первый план выйдут цена, доступность и производительность, а не только совместимость программного обеспечения.
Amazon выбирает похожий путь с TorchNeuron
Amazon Web Services придерживается почти той же стратегии с TorchNeuron.
AWS запустила публичную бета-версию TorchNeuron — открытого нативного бэкенда PyTorch для семейства ускорителей ИИ Trainium.
По данным AWS, разработчики могут перенести код PyTorch на Trainium, изменив конфигурацию, а не переписывая модели под отдельный фреймворк.
TorchNeuron поддерживает стандартные API PyTorch, eager execution и torch.compile, а также позволяет разработчикам оптимизировать рабочие нагрузки специально для оборудования Trainium.
В настоящее время программное обеспечение поддерживает инстансы Amazon EC2 на базе чипов Trainium2 и Trainium3.
Это важно, поскольку AWS вложила значительные средства в разработку собственных процессоров, стремясь не закупать все вычислительные мощности для ИИ у внешних поставщиков чипов.
Trainium даёт Amazon больше контроля над экономикой облачной инфраструктуры. Но чтобы убедить клиентов пользоваться этими процессорами, недостаточно предложить конкурентоспособное оборудование.
Разработчикам нужно программное обеспечение, которое вписывается в их привычные рабочие процессы.
TorchNeuron призван устранить этот разрыв.
Почему PyTorch так важен в борьбе за рынок чипов для ИИ
Конкуренция в сфере оборудования для ИИ всё больше превращается в борьбу программных экосистем.
Nvidia годами добивалась глубокой интеграции CUDA в разработку машинного обучения. Вокруг этой экосистемы сформировались библиотеки, инструменты оптимизации и экспертиза разработчиков.
Это создаёт то, что экономисты часто называют издержками переключения.
Конкурирующий ускоритель теоретически может обеспечить привлекательную производительность или снизить затраты, но компании всё равно могут выбрать Nvidia, если перенос рабочих нагрузок потребует недель инженерной работы.
Нативная поддержка PyTorch меняет это уравнение.
И Google, и Amazon пытаются сделать так, чтобы их оборудование воспринималось не как отдельная платформа, а как ещё одно целевое устройство в привычной среде PyTorch.
Для крупных компаний в сфере ИИ, обрабатывающих огромные рабочие нагрузки, даже сравнительно небольшое повышение гибкости выбора оборудования может иметь серьёзные финансовые последствия.
Вместо того чтобы направлять все рабочие нагрузки на одну архитектуру ускорителей, компании смогут выбирать для разных моделей инфраструктуру с наиболее выгодными условиями на данный момент.
Защитный ров Nvidia вокруг CUDA сталкивается с конкуренцией иного рода
У Nvidia по-прежнему есть значительные преимущества.
Её графические процессоры широко используются для обучения и инференса ИИ, а экосистема CUDA включает многолетний опыт оптимизации программного обеспечения, документацию и знания разработчиков.
Поэтому Google и Amazon вряд ли смогут в одночасье лишить Nvidia преимущества в программном обеспечении.
Но характер конкуренции меняется.
Исторически конкуренты часто пытались превзойти Nvidia прежде всего техническими характеристиками оборудования. Сегодня гиперскейлеры всё лучше понимают, что одного конкурентоспособного чипа недостаточно.
Нужно также упростить переход на него.
Ранее Reuters сообщало, что TorchNeuron от Amazon должен был сократить число шагов, которые разработчикам нужно выполнить перед тестированием Trainium, а Google работала над тем, чтобы сделать TPU доступнее для разработчиков, уже использующих PyTorch.
Так удобство для разработчиков превращается в стратегическое оружие.
Инференс ИИ может повысить значимость выбора оборудования
Это особенно важно сейчас, когда рынок ИИ выходит за пределы обучения огромных базовых моделей.
Инференс — фактический запуск систем ИИ и обработка пользовательских запросов — становится всё более значимой составляющей спроса на вычислительные ресурсы.
Инференс-нагрузки могут сильно различаться по объёму, требованиям к задержке и чувствительности к затратам.
Это открывает возможности для альтернативных процессоров.
Компания, обучающая передовую модель, может отдавать приоритет максимальной производительности и зрелой программной экосистеме. Бизнесу, обрабатывающему миллионы небольших инференс-запросов, могут быть важнее стоимость токена, энергопотребление или доступность инфраструктуры.
Чем разнообразнее становятся рабочие нагрузки ИИ, тем сложнее одной архитектуре чипа доминировать во всех сценариях использования.
Это одна из причин, по которой крупные технологические компании разрабатывают собственные ускорители.
У Google есть TPU.
У Amazon — Trainium.
Meta разработала процессоры MTIA.
Другие компании в сфере ИИ также изучают возможность создания специализированных чипов на фоне роста расходов на инфраструктуру.
Nvidia остаётся лидером рынка, но отрасль движется к более разнообразной вычислительной среде.
Открытый исходный код может ускорить переход
Ещё одна примечательная особенность TorchTPU и TorchNeuron — их выпускают как программное обеспечение с открытым исходным кодом.
Это даёт разработчикам больше возможностей изучить инструменты и позволяет внешним участникам вносить свой вклад.
Это также может помочь Google и Amazon убедить компании, что использование их оборудования не означает автоматической привязки к ещё одной закрытой программной экосистеме.
AWS утверждает, что модели, обученные с помощью Trainium, можно сохранить в виде стандартных контрольных точек и перенести на другое поддерживаемое оборудование.
Google также позиционирует TorchTPU как инструмент, обеспечивающий выбор оборудования и совместимость с уже используемыми средствами ИИ.
Это важная часть позиционирования.
Разработчики вряд ли будут поддерживать разнообразие оборудования, если переход с Nvidia просто заменит одну форму привязки на другую.
Делая упор на совместимость с PyTorch и открытые инструменты, гиперскейлеры представляют собственные ускорители как взаимозаменяемую инфраструктуру.
Что это означает для разработчиков ИИ
Для команд, занимающихся ИИ, усиление конкуренции в сфере оборудования в конечном счёте может расширить выбор.
Разработчики смогут сравнивать графические процессоры Nvidia, TPU от Google и Trainium от AWS по характеристикам конкретной рабочей нагрузки, а не оставаться на одной платформе из-за зависимости от программного обеспечения.
Это может повлиять на:
затраты на обучение ИИ
стоимость инференса
доступность облачной инфраструктуры
энергоэффективность
гибкость развёртывания
возможности вести переговоры с облачными провайдерами
Это также может подтолкнуть гиперскейлеров к более агрессивному ценообразованию в попытке привлечь рабочие нагрузки на собственное оборудование.
AWS уже заявляет, что Trainium может обеспечить привлекательную экономику для некоторых рабочих нагрузок ИИ, а Google продолжает расширять доступность TPU через Google Cloud.
Чем проще становится использовать эти чипы, тем убедительнее выглядят такие заявления для разработчиков, рассматривающих альтернативы.
Действительно ли Google и Amazon могут угрожать Nvidia?
Nvidia вряд ли утратит свои позиции лишь потому, что конкуренты улучшат совместимость с PyTorch.
Дорожная карта её оборудования, программные библиотеки и сообщество разработчиков по-прежнему дают ей серьёзные конкурентные преимущества.
Но Google и Amazon, возможно, не нужно вытеснять Nvidia, чтобы изменить рынок.
Даже если они переманят на свои облачные платформы большую долю рабочих нагрузок, это снизит их зависимость от оборудования Nvidia и усилит конкуренцию в сфере инфраструктуры ИИ.
Что ещё важнее, это ослабляет представление о том, что разработчики ИИ должны строить свои решения вокруг одной экосистемы оборудования.
Поэтому в следующем этапе борьбы за рынок чипов для ИИ переносимость программного обеспечения может оказаться не менее важной, чем производительность процессоров.
TorchTPU от Google и TorchNeuron от Amazon — ранние примеры этого сдвига.
Для Nvidia конкурентная угроза становится очевидной: соперники больше не пытаются лишь создавать чипы получше.
Они пытаются упростить переход с Nvidia.
Отказ от ответственности: Эта статья предоставлена исключительно в информационных целях. Она не является юридической, налоговой, инвестиционной, финансовой или иной консультацией и не предназначена для использования в качестве таковой.