Quatro pequenas unidades desktop Nvidia DGX Spark acabaram de disponibilizar o modelo aberto DeepSeek V4.1 Flash para 16 usuários diferentes ao mesmo tempo, a cerca de 24 tokens por segundo cada, sem rack de servidores, sem refrigeração líquida e sem custos de nuvem.
Principais conclusões
Uma versão personalizada e de código aberto do DeepSeek V4.1 Flash atendeu 16 usuários diferentes a uma velocidade total de 380 tokens por segundo em quatro unidades DGX Spark interligadas, e a 438 tokens por segundo quando 16 cópias de uma única solicitação foram executadas simultaneamente
Um único usuário obteve 80 tokens por segundo no chat e 138 tokens por segundo ao escrever código
A configuração lidou com um contexto de 1 milhão de tokens e leu prompts a 10.000 tokens por segundo
Superou o SGLang TP4 nas mesmas máquinas em 18% a 25% para um usuário, com leitura de prompts cerca de 1,9 vez mais rápida
O que o teste mostrou
Um desenvolvedor que publica como Picomoorhead disponibilizou o código da configuração, um mecanismo de inferência escrito para esse único modelo em quatro unidades DGX Spark. Tokens são os fragmentos de palavras que os modelos de IA leem e escrevem, então 80 tokens por segundo é mais rápido do que qualquer pessoa consegue ler.
O analista do setor Patrick Moorhead, fundador da Moor Insights &. Strategy, compartilhou os números e disse que eles respondem à principal crítica ao DGX Spark. “A crítica ao DGX Spark era que ele é uma máquina para desenvolvedores, não para inferência”, escreveu. “Esta configuração personalizada de código aberto do DeepSeek V4.1 Flash em quatro dessas máquinas mostra o contrário.”
Quatro máquinas DGX Spark executando DeepSeek V4.1 FlashResultado Chat, um usuário80 tokens/s Código, um usuário138 tokens/s 16 usuários diferentes ao mesmo tempo380 tokens/s (~24 cada)16 cópias de uma solicitação438 tokens/s (~27 cada) Velocidade de leitura de prompts10.000 tokens/s Janela de contexto1 milhão de tokens Em comparação com o SGLang nas mesmas máquinas18–25% mais rápido, leitura de prompts ~1,9 vez mais rápida
Leia também: Amazon adiciona compartilhamento de chips Nvidia para reduzir custos de inferência de IA
O software era o gargalo
Moorhead disse que o resultado veio do software, não de um novo hardware. “O hardware nunca foi o limitador. O software era”, escreveu, acrescentando que um mecanismo criado para um modelo em uma configuração específica supera ferramentas de inferência de uso geral.
O conjunto todo é formado por quatro computadores de mesa e um switch de rede de 200G. Moorhead chamou isso de “o modelo para IA departamental”, referindo-se a modelos abertos da DeepSeek, pequenos computadores da Nvidia e software de inferência desenvolvido pela comunidade de código aberto.
Por que isso importa para as empresas
A Nvidia apresentou o DGX Spark como uma máquina de mesa para desenvolvedores criarem e testarem modelos de IA, enquanto a geração de respostas para muitos usuários ficava a cargo de GPUs de data centers ou da nuvem. Atender 16 pessoas ao mesmo tempo usando quatro unidades de mesa aponta para uma opção intermediária para equipes que querem manter prompts confidenciais dentro da empresa ou limitar os gastos com a nuvem.
A ressalva é que esse mecanismo foi criado sob medida para um único modelo em uma única configuração. Equipes que mudarem de modelo ou de hardware precisarão de ajustes semelhantes para obter a mesma velocidade.
O que observar a seguir
A publicação no X dizia que o suporte a imagens chegaria em breve, e o README do GitHub diz que as imagens funcionam pela API normal da OpenAI. O próximo teste é saber se outras equipes conseguem reproduzir os números com o código de código aberto e se surgem mecanismos semelhantes para outros modelos abertos.
Leia a seguir: pequeno investidor Blockmate aposta em servidor da Nvidia para lucrar com IA