Resumo
As ações da SMCI despencam 10.03%, chegando a $26.63, apesar do anúncio de uma importante parceria na área de IA.
A Supermicro une-se à IBM e à NVIDIA para lançar uma nova plataforma empresarial de armazenamento para IA.
Os testes de cache KV oferecem tempos de resposta do primeiro token até 56 vezes mais rápidos.
A nova tecnologia de armazenamento compartilhado busca aumentar a eficiência das GPUs e a capacidade de processamento de IA.
A Supermicro afirma que seus serviços de implantação podem reduzir o prazo de instalação de semanas para dias.
As ações da Super Micro Computer (SMCI) despencaram 10.03%, chegando a $26.63, com perda de $2.97 em meio à forte pressão vendedora. Enquanto isso, a Supermicro anunciou uma nova solução de armazenamento para IA por meio de sua colaboração com a IBM e a NVIDIA. A tecnologia busca acelerar a inferência de IA, melhorar a eficiência das GPUs e atender à expansão das cargas de trabalho empresariais.
Super Micro Computer, Inc., SMCI
Supermicro faz parceria com IBM e NVIDIA em solução de armazenamento para IA
A Supermicro apresentou uma nova plataforma de armazenamento de cache KV que combina tecnologias de três grandes fornecedores de infraestrutura. O sistema integra servidores all-flash Petascale da Supermicro, o software IBM Storage Scale e o NVIDIA Dynamo. A arquitetura utiliza processadores AMD EPYC 9005 e redes Ethernet NVIDIA Spectrum-X.
A colaboração visa atender à crescente demanda por inferência de IA mais rápida em aplicações empresariais e infraestrutura de nuvem. Os sistemas modernos de IA processam conjuntos de dados maiores e conversas mais longas, aumentando a pressão sobre os recursos de memória existentes. As empresas precisam de sistemas de armazenamento capazes de lidar com cargas de trabalho complexas sem reduzir a eficiência do processamento.
A Supermicro projetou a plataforma para ampliar a capacidade do cache KV para além da memória local da GPU. Essa abordagem permite que os sistemas de IA reutilizem informações já processadas, em vez de repetir cálculos. Além disso, o armazenamento compartilhado ajuda as organizações a ampliar a capacidade de inferência, mantendo um desempenho consistente das aplicações.
Nova tecnologia de cache KV acelera a inferência de IA
A Supermicro e a NVIDIA testaram a tecnologia usando um modelo de linguagem de grande porte com 120 bilhões de parâmetros. Os testes registraram um desempenho até 56 vezes mais rápido no tempo até o primeiro token, com prompts de 130.000 tokens. Os resultados demonstraram melhorias substanciais quando o sistema reutilizou informações em cache.
Durante os testes, os comprimentos das entradas aumentaram de 30.000 para 130.000 tokens. No entanto, o tempo de preparação da resposta aumentou apenas 0,377 segundos com o uso de cache, em comparação com 29,55 segundos sem cache. Esses resultados ressaltaram os possíveis benefícios da tecnologia para aplicações que processam grandes volumes de informação.
A plataforma também favorece uma maior utilização das GPUs, reduzindo cálculos desnecessários e atrasos no processamento. Além disso, sua arquitetura compartilhada permite que vários clusters de GPUs acessem o contexto armazenado com eficiência. As empresas validaram o sistema com cargas de trabalho elevadas e tráfego de rede concorrente.
Supermicro aposta no crescimento da infraestrutura de IA empresarial
O anúncio amplia o portfólio de infraestrutura da Supermicro, à medida que as empresas aumentam os investimentos na implementação de IA e em serviços de inferência. As aplicações empresariais recorrem cada vez mais a assistentes de programação, fluxos de trabalho automatizados e sistemas que processam documentos extensos. Essas aplicações precisam de capacidade de armazenamento confiável, além de recursos computacionais potentes.
A Supermicro também oferece serviços de integração em rack na fábrica e de implementação para a nova plataforma. Segundo a empresa, esses serviços podem reduzir o prazo de implementação de semanas para dias. Enquanto isso, a IBM contribui com recursos de gerenciamento de armazenamento, e a NVIDIA fornece software de inferência e tecnologia de rede.
A parceria fortalece a posição da Supermicro na infraestrutura de IA empresarial, apesar da forte queda das ações. Sua solução mais recente aborda a eficiência computacional, a escalabilidade do armazenamento e a confiabilidade do sistema em aplicações exigentes. No entanto, o anúncio não apresenta previsões financeiras nem contribuições de receita confirmadas da nova plataforma.
A publicação Super Micro Computer (SMCI): ações caem 10% com anúncio de nova solução de IA em parceria com IBM e NVIDIA apareceu primeiro no Blockonomi.