A Supermicro venderá novos racks de servidores equipados com chips da SambaNova para ajudar data centers a gerar respostas no estilo chatbot a um custo menor, junto com sistemas de GPU da Nvidia.
Principais conclusões
A SambaNova afirmou que seus chips SN50 alimentarão novos racks de inferência, projetados para funcionar junto com GPUs da Nvidia em data centers de todo o mundo
A Supermicro incluirá os sistemas em seu portfólio Data Center Building Block Solutions
Os racks são destinados à inferência de alto desempenho, etapa em que um modelo treinado é usado para responder a prompts ou executar cargas de trabalho em produção
A Supermicro já atende clientes que implantam vários tipos de chips em uma mesma instalação, facilitando as implantações de teste dos racks da SambaNova
A SambaNova afirmou que os sistemas passarão a fazer parte do portfólio Data Center Building Block Solutions da Supermicro. O mesmo comunicado informou que os racks são voltados à inferência de alto desempenho, a etapa em que um modelo treinado responde a solicitações ou executa cargas de trabalho em produção.
A Supermicro monta servidores e sistemas completos em escala de rack para provedores de nuvem e empresas.
A SambaNova projeta chips de IA e software de sistemas. O acordo é importante porque os data centers buscam mais de uma forma de executar inferência à medida que a demanda se expande para além do treinamento de modelos.
Racks SN50 visam superar o gargalo da inferência
Treinar um modelo é o processo dispendioso de ensiná-lo com grandes conjuntos de dados.
A inferência ocorre após o treinamento, quando o modelo atende a solicitações em tempo real. Essa segunda etapa está se tornando um mercado à parte porque as empresas precisam de hardware de baixo custo e alta disponibilidade para uso contínuo em produção.
Os novos sistemas foram projetados para esse mercado.
A SambaNova afirmou que eles funcionarão ao lado das implantações de GPUs da Nvidia, em vez de substituí-las por completo. Isso sugere que os compradores querem frotas mistas, nas quais uma categoria de hardware cuida do treinamento de modelos e outra do tráfego constante de inferência.
Essa distinção tem implicações operacionais concretas.
Racks otimizados para inferência podem ser ajustados para oferecer menor latência, menor consumo contínuo de energia e maior vazão de tokens por watt do que clusters de treinamento de uso geral. Os operadores que escolherem esses sistemas avaliarão o custo efetivo por unidade de inferência (tokens ou consultas), o limite de consumo de energia no nível do rack e quantos gabinetes são necessários para atender à capacidade máxima sem superdimensionar os clusters de treinamento com GPUs.
Leia também: A usina de Drax pode se tornar um polo de data centers de IA de £ 20 bilhões
Da escassez de GPUs ao projeto de frotas mistas
O contexto é uma corrida de dois anos, na qual provedores de nuvem e empresas tentam garantir hardware de IA suficiente.
No início, a demanda se concentrou em clusters de treinamento da Nvidia, pois os modelos de ponta exigiam o ecossistema de software mais amplo e o caminho de escalabilidade mais comprovado.
Com a maturação das cargas de trabalho, os compradores começaram a dividir a pilha. O treinamento continua dependendo de GPUs de ponta.
A inferência abre espaço para silício personalizado, aceleradores específicos para aplicações e projetos no nível do rack capazes de atender a tamanhos de modelos e padrões de tráfego conhecidos.
É nesse contexto que entra a oferta da SambaNova. A Supermicro já atende clientes que implantam vários tipos de chips em uma mesma instalação.
Incluir a SambaNova nesse catálogo oferece aos compradores outra opção, sem obrigá-los a reconstruir de uma só vez toda a camada de software e operações.
Distribuição e risco de substituição
A distribuição costuma ser mais difícil do que o projeto de chips. Muitas startups de hardware de IA conseguem fabricar silício.
Muito menos empresas conseguem inserir seus sistemas nos canais padrão de compras corporativas.
A Supermicro ajuda a reduzir essa lacuna porque já vende racks integrados aos clientes que a SambaNova deseja alcançar, de empresas a prestadores de serviços. Se esses compradores puderem encomendar o produto por meio de um fornecedor de sistemas conhecido, fica mais fácil fazer implantações de teste.
A existência de um canal comercial por meio da Supermicro indica uma transição do protótipo para a disponibilidade em volume, o que, na prática, revela mais sobre a capacidade e a oferta prováveis do que apenas o roteiro de produtos de um fornecedor.
A referência à operação em conjunto com GPUs da Nvidia também reduz o risco de substituição. Um data center pode acrescentar capacidade da SambaNova para inferência sem remover os clusters de GPU existentes nem reformular todos os fluxos de trabalho de uma só vez.
Na prática, isso significa que os operadores podem distribuir os gastos de capital entre racks especializados, comprando capacidade de inferência da Supermicro e da SambaNova para atingir metas de custo por consulta, enquanto mantêm o investimento em GPUs voltado para treinamento e cargas de trabalho de uso geral.
A proposta da SambaNova e da Supermicro é que os racks SN50 permitam aos operadores direcionar cargas de trabalho específicas de inferência para hardware otimizado para esses padrões. Por exemplo, um serviço de busca de comércio eletrônico que exige vazão consistente e baixa latência pode ser alocado em racks SN50 dimensionados para atender às taxas máximas de tokens dentro de um orçamento de energia definido, enquanto o treinamento episódico em grandes lotes permanece nos clusters de GPU.
As principais métricas para os compradores serão a vazão publicada, medida em consultas ou tokens por segundo, o consumo de energia no nível do rack e o custo por unidade de inferência.
Os compromissos de capital e a disponibilidade dos produtos observados no mercado serão sinais mais fortes da intenção de implantação do que as alegações promocionais.
Para compradores de serviços de nuvem e empresas, o próximo ponto a observar é se a SambaNova divulgará números de vazão, consumo de energia e custo desses sistemas em comparação com as opções de inferência baseadas em GPU. Sem esses dados, o negócio diz respeito principalmente ao acesso.
Com esses dados, será possível comparar preços e capacidade diretamente.
Leia a seguir: O treinamento RLVR faz chatbots arriscarem respostas em problemas mais difíceis