Cuatro pequeños equipos de escritorio Nvidia DGX Spark acaban de servir el modelo abierto DeepSeek V4.1 Flash a 16 usuarios distintos a la vez, a unos 24 tokens por segundo cada uno, sin rack de servidores, refrigeración líquida ni factura de la nube.
Puntos clave
Una versión personalizada y de código abierto de DeepSeek V4.1 Flash atendió a 16 usuarios distintos a un total de 380 tokens por segundo en cuatro equipos DGX Spark conectados, y alcanzó los 438 tokens por segundo cuando se ejecutaron simultáneamente 16 copias de una misma solicitud
Un solo usuario obtuvo 80 tokens por segundo en el chat y 138 tokens por segundo al escribir código
La configuración manejó un contexto de 1 millón de tokens y leyó instrucciones a 10.000 tokens por segundo
Superó a SGLang TP4 en las mismas máquinas entre un 18 % y un 25 % para un usuario, con una lectura de instrucciones aproximadamente 1,9 veces más rápida
Qué mostró la prueba
Un desarrollador que publica con el nombre de Picomoorhead hizo público el código de la configuración: un motor de inferencia escrito para este único modelo en cuatro unidades DGX Spark. Los tokens son los fragmentos de palabras que los modelos de IA leen y escriben, así que 80 tokens por segundo es más rápido de lo que cualquiera puede leer.
El analista del sector Patrick Moorhead, fundador de Moor Insights &. Strategy, compartió las cifras y dijo que responden a la principal crítica sobre DGX Spark. «La crítica a DGX Spark era que es una máquina para desarrolladores, no para inferencia», escribió. «Esta versión personalizada y de código abierto de DeepSeek V4.1 Flash en cuatro de esas máquinas demuestra lo contrario».
Cuatro máquinas DGX Spark ejecutando DeepSeek V4.1 FlashResultado Chat, un usuario: 80 tokens/s Código, un usuario: 138 tokens/s 16 usuarios diferentes a la vez: 380 tokens/s (~24 cada uno) 16 copias de una misma solicitud: 438 tokens/s (~27 cada una) Velocidad de lectura de instrucciones: 10.000 tokens/s Ventana de contexto: 1 millón de tokens Frente a SGLang en las mismas máquinas: entre un 18 % y un 25 % más rápido, lectura de instrucciones ~1,9 veces más rápida
También puedes leer: Amazon añade el uso compartido de chips Nvidia para reducir los costos de inferencia de IA
El software era el cuello de botella
Moorhead dijo que el resultado se debía al software, no a un hardware nuevo. «El hardware nunca fue el factor limitante. Lo era el software», escribió, y añadió que un motor creado para un modelo en una configuración concreta supera a las herramientas de inferencia de propósito general.
Todo el equipo consta de cuatro máquinas de escritorio y un conmutador de red de 200G. Moorhead lo llamó «el modelo para la IA departamental», es decir, modelos abiertos de DeepSeek, pequeñas máquinas Nvidia y software de inferencia creado por la comunidad de código abierto.
Por qué es importante para las empresas
Nvidia presentó DGX Spark como una máquina de escritorio para que los desarrolladores creen y prueben modelos de IA, mientras que responder a muchos usuarios quedaba en manos de las GPU de centros de datos o de la nube. Atender a 16 personas a la vez con cuatro unidades de escritorio apunta a una opción intermedia para los equipos que quieren mantener dentro de la empresa las instrucciones confidenciales o limitar el gasto en la nube.
La desventaja es que este motor está hecho a medida para un solo modelo y una sola configuración. Los equipos que cambien de modelo o de hardware necesitarían realizar ajustes similares para alcanzar la misma velocidad.
Qué conviene seguir de ahora en adelante
La publicación en X decía que la compatibilidad con imágenes llegaría pronto, y el README de GitHub dice que las imágenes funcionan mediante la API normal de OpenAI. La próxima prueba es comprobar si otros equipos pueden repetir las cifras con el código de código abierto y si aparecen motores similares para otros modelos abiertos.
Lee a continuación: el pequeño inversor Blockmate apuesta por un servidor Nvidia para sacar provecho de la IA