O domínio da Nvidia na computação de inteligência artificial nunca dependeu apenas das GPUs.
Há mais de uma década, a empresa vem construindo um ecossistema de software em torno do CUDA que facilita para os desenvolvedores usar, otimizar e implantar seu hardware em larga escala. Essa vantagem de software se tornou uma das barreiras mais fortes que protegem a Nvidia dos concorrentes que tentam entrar no mercado de aceleradores de IA.
Agora, Google e Amazon estão atacando essa barreira diretamente.
As duas empresas lançaram novas ferramentas de código aberto projetadas para permitir que desenvolvedores executem cargas de trabalho do PyTorch de forma mais natural em seus próprios processadores de IA. O Google disponibilizou o TorchTPU para suas Unidades de Processamento Tensorial, enquanto a Amazon Web Services lançou o TorchNeuron para seus chips Trainium.
O objetivo é simples: tornar muito menos dolorosa a troca do hardware da Nvidia.
Google disponibiliza o TorchTPU como código aberto para desenvolvedores de PyTorch
O Google anunciou em 20 de outubro que o TorchTPU agora é de código aberto, oferecendo suporte nativo ao PyTorch em sua infraestrutura de TPU.
O PyTorch é uma das estruturas mais utilizadas para desenvolver e implementar modelos de inteligência artificial, o que torna a compatibilidade cada vez mais importante para qualquer empresa que queira competir com a Nvidia.
O Google afirma que cargas de trabalho existentes do PyTorch podem ser executadas em TPUs com o mínimo de alterações no código, mantendo APIs e ferramentas de desenvolvimento conhecidas.
O TorchTPU também se integra a softwares de IA amplamente utilizados, incluindo Hugging Face, vLLM, SGLang, Ray e TorchTitan.
Para os desenvolvedores, a importância dessa mudança não é apenas técnica.
Transferir uma carga de trabalho de aprendizado de máquina existente de um ecossistema de hardware para outro tradicionalmente exige trabalho de engenharia, testes de compatibilidade e otimização. Esses custos de migração ajudam a criar dependência do hardware.
O Google está tentando reduzir esse atrito.
Se os desenvolvedores puderem transferir modelos entre GPUs e TPUs sem reconstruir grandes partes de sua pilha de software, a escolha de hardware passará a se concentrar mais no preço, na disponibilidade e no desempenho, em vez de apenas na compatibilidade de software.
A Amazon segue um caminho semelhante com o TorchNeuron
A Amazon Web Services está seguindo uma estratégia quase exatamente igual com o TorchNeuron.
A AWS lançou a versão beta pública do TorchNeuron como um backend nativo de PyTorch e de código aberto para sua família de aceleradores de IA Trainium.
Segundo a AWS, os desenvolvedores podem transferir código PyTorch para o Trainium alterando uma configuração, em vez de reescrever seus modelos para uma estrutura diferente.
O TorchNeuron oferece suporte às APIs padrão do PyTorch, à execução eager e ao torch.compile, além de permitir que os desenvolvedores otimizem cargas de trabalho especificamente para o hardware Trainium.
Atualmente, o software oferece suporte às instâncias do Amazon EC2 equipadas com chips Trainium2 e Trainium3.
Isso é importante porque a AWS investiu muito em processadores personalizados como alternativa à compra de toda a sua capacidade de computação de IA de fornecedores externos de chips.
O Trainium dá à Amazon mais controle sobre a economia de sua infraestrutura de nuvem. Mas convencer os clientes a usar esses processadores exige mais do que hardware competitivo.
Os desenvolvedores precisam de software que se encaixe nos fluxos de trabalho que já utilizam.
O TorchNeuron foi projetado para preencher essa lacuna.
Por que o PyTorch é tão importante na disputa pelos chips de IA
A concorrência atual no hardware de IA está se tornando cada vez mais uma disputa de software.
A Nvidia passou anos integrando profundamente a CUDA ao desenvolvimento de aprendizado de máquina. Bibliotecas, ferramentas de otimização e conhecimento especializado de desenvolvedores cresceram em torno desse ecossistema.
Isso cria o que os economistas costumam chamar de custos de mudança.
Um acelerador concorrente pode, em teoria, oferecer desempenho atraente ou custos menores, mas as empresas ainda podem escolher a Nvidia se transferir as cargas de trabalho exigir semanas de trabalho de engenharia.
O suporte nativo ao PyTorch muda essa equação.
Google e Amazon estão tentando fazer com que seu hardware pareça menos uma plataforma separada e mais um dispositivo de destino adicional dentro de um ambiente PyTorch familiar.
Para grandes empresas de IA que operam cargas de trabalho enormes, até mesmo uma melhoria relativamente pequena na flexibilidade de hardware pode ter grandes consequências financeiras.
Em vez de vincular todas as cargas de trabalho a uma única arquitetura de acelerador, as empresas poderiam direcionar diferentes modelos para a infraestrutura com a melhor relação custo-benefício naquele momento.
O fosso competitivo da CUDA, da Nvidia, enfrenta um tipo diferente de concorrência
A Nvidia ainda mantém vantagens significativas.
Suas GPUs continuam amplamente utilizadas no treinamento e na inferência de IA, e seu ecossistema CUDA reúne anos de software otimizado, documentação e conhecimento de desenvolvedores.
Por isso, é improvável que Google e Amazon eliminem da noite para o dia a vantagem de software da Nvidia.
Mas a natureza da concorrência está mudando.
Historicamente, os concorrentes muitas vezes tentaram superar a Nvidia principalmente pelas especificações de hardware. Hoje, os hiperescaladores entendem cada vez mais que ter chips competitivos não basta.
Eles também precisam facilitar a migração.
A Reuters informou anteriormente que o TorchNeuron, da Amazon, tinha como objetivo reduzir o número de etapas necessárias para que os desenvolvedores testassem o Trainium, enquanto o Google vem trabalhando para tornar as TPUs mais acessíveis a desenvolvedores que já usam PyTorch.
Isso transforma a experiência do desenvolvedor em uma arma estratégica.
A inferência de IA pode tornar a escolha de hardware mais importante
Esse momento é especialmente importante à medida que o mercado de IA se expande para além do treinamento de enormes modelos fundamentais.
A inferência — executar sistemas de IA e atender às solicitações dos usuários — está se tornando uma parte cada vez mais importante da demanda por computação.
As cargas de trabalho de inferência podem variar muito em tamanho, requisitos de latência e sensibilidade a custos.
Isso cria oportunidades para processadores alternativos.
Uma empresa que treina um modelo de fronteira pode priorizar o máximo desempenho e um ecossistema de software maduro. Uma empresa que atende milhões de solicitações menores de inferência pode se preocupar mais com o custo por token, o consumo de energia ou a disponibilidade de infraestrutura.
Quanto mais diversificadas forem as cargas de trabalho de IA, mais difícil poderá ser para uma única arquitetura de chips dominar todos os casos de uso.
Esse é um dos motivos pelos quais grandes empresas de tecnologia estão desenvolvendo seus próprios aceleradores.
O Google tem as TPUs.
A Amazon tem o Trainium.
A Meta desenvolveu seus processadores MTIA.
Outras empresas de IA também estão explorando chips personalizados, enquanto os gastos com infraestrutura continuam aumentando.
A Nvidia continua sendo líder de mercado, mas o setor está avançando para um ambiente de computação mais heterogêneo.
O código aberto pode acelerar essa mudança
Outro aspecto notável do TorchTPU e do TorchNeuron é que ambos estão sendo lançados como software de código aberto.
Isso dá aos desenvolvedores mais visibilidade sobre as ferramentas e permite contribuições externas.
Também pode ajudar Google e Amazon a tranquilizar as empresas de que usar seu hardware não significa automaticamente ficar preso a mais um ecossistema de software fechado.
A AWS afirma que os modelos treinados com o Trainium podem ser salvos como checkpoints padrão e transferidos para outros hardwares compatíveis.
Da mesma forma, o Google posiciona o TorchTPU em torno da escolha de hardware e da compatibilidade com as ferramentas de IA existentes.
Esse posicionamento é importante.
É improvável que os desenvolvedores adotem a diversidade de hardware se trocar a Nvidia simplesmente substituir uma forma de dependência por outra.
Ao enfatizar a compatibilidade com PyTorch e ferramentas abertas, os hiperescaladores apresentam seus aceleradores personalizados como infraestrutura intercambiável.
O que isso significa para os desenvolvedores de IA
Para as equipes de IA, o aumento da concorrência entre hardwares pode, em última análise, resultar em mais opções.
Os desenvolvedores talvez possam comparar GPUs da Nvidia, TPUs do Google e Trainium da AWS com base nas características de cada carga de trabalho, em vez de serem obrigados a permanecer em uma única plataforma por causa de dependências de software.
Isso pode afetar:
custos de treinamento de IA
preços de inferência
disponibilidade de infraestrutura em nuvem
eficiência energética
flexibilidade de implantação
poder de negociação com provedores de nuvem
Isso também pode incentivar preços mais agressivos, à medida que os hiperescaladores tentam atrair cargas de trabalho para seus hardwares proprietários.
A AWS já argumenta que o Trainium pode oferecer uma relação custo-benefício atraente para determinadas cargas de trabalho de IA, enquanto o Google continua ampliando a disponibilidade das TPUs por meio do Google Cloud.
Quanto mais fácil for usar esses chips, mais convincentes serão essas alegações para os desenvolvedores que avaliam alternativas.
Google e Amazon podem realmente ameaçar a Nvidia?
É improvável que a Nvidia perca sua posição simplesmente porque os concorrentes melhoraram a compatibilidade com PyTorch.
Seu roteiro de hardware, suas bibliotecas de software e sua comunidade de desenvolvedores continuam sendo vantagens competitivas significativas.
Mas Google e Amazon talvez não precisem substituir a Nvidia para mudar o mercado.
Mesmo conquistar uma fatia maior das cargas de trabalho em suas próprias plataformas de nuvem reduziria a dependência do hardware da Nvidia e criaria uma concorrência significativa na infraestrutura de IA.
Mais importante ainda, isso enfraquece a ideia de que os desenvolvedores de IA precisam construir seus sistemas em torno de um único ecossistema de hardware.
A próxima fase da disputa pelos chips de IA pode, portanto, ser decidida tanto pela portabilidade do software quanto pelo desempenho bruto dos processadores.
O TorchTPU do Google e o TorchNeuron da Amazon são exemplos iniciais dessa mudança.
Para a Nvidia, o desafio competitivo está ficando claro: os rivais já não estão tentando apenas construir chips melhores.
Eles estão tentando facilitar a saída do ecossistema da Nvidia.
Aviso: Este artigo é fornecido apenas para fins informativos. Não é oferecido nem se destina a ser usado como aconselhamento jurídico, tributário, de investimento, financeiro ou de qualquer outro tipo.