Supermicro venderá nuevos racks de servidores con chips de SambaNova para ayudar a los centros de datos a ofrecer respuestas tipo chatbot a menor costo junto con sistemas con GPU de Nvidia.
Puntos clave
SambaNova afirmó que sus chips SN50 impulsarán nuevos racks de inferencia diseñados para funcionar junto con las GPU de Nvidia en centros de datos de todo el mundo
Supermicro incluirá los sistemas en su cartera de soluciones Data Center Building Block Solutions
Los racks están pensados para la inferencia de alto rendimiento, la etapa en la que se usa un modelo entrenado para responder a indicaciones o ejecutar cargas de trabajo en producción
Supermicro ya presta servicio a clientes que implementan varios tipos de chips en una misma instalación, lo que facilita las implementaciones de prueba de los racks de SambaNova
SambaNova afirmó que los sistemas pasarán a formar parte de la cartera Data Center Building Block Solutions de Supermicro. El mismo comunicado indicó que los racks están pensados para la inferencia de alto rendimiento, la etapa en la que un modelo entrenado responde a instrucciones o ejecuta cargas de trabajo en producción.
Supermicro ensambla servidores y sistemas completos a escala de rack para proveedores de servicios en la nube y empresas.
SambaNova diseña chips de IA y software de sistemas. Su acuerdo es importante porque los centros de datos buscan más de una forma de ejecutar inferencias a medida que la demanda se extiende más allá del entrenamiento de modelos.
Los racks SN50 apuntan al cuello de botella de la inferencia
Entrenar un modelo es el costoso proceso de enseñarle a partir de grandes conjuntos de datos.
La inferencia es lo que ocurre después del entrenamiento, cuando el modelo atiende solicitudes en tiempo real. Esta segunda fase se está convirtiendo en un mercado aparte porque las empresas necesitan hardware de menor coste y alta disponibilidad para un uso constante en producción.
Los nuevos sistemas están diseñados para ese mercado.
SambaNova afirmó que funcionarán junto con las implementaciones de GPU de Nvidia, en lugar de sustituirlas por completo. Esto sugiere que los compradores quieren flotas mixtas, en las que una clase de hardware se encargue del entrenamiento de modelos y otra gestione el tráfico de inferencia constante.
Esta distinción tiene consecuencias operativas concretas.
Los racks optimizados para inferencia pueden configurarse para ofrecer menor latencia, menor consumo eléctrico sostenido y mayor rendimiento de tokens por vatio que los clústeres de entrenamiento de propósito general. Los operadores que elijan estos sistemas evaluarán el coste efectivo por unidad de inferencia (tokens o consultas), el límite de consumo eléctrico a nivel de rack y cuántos armarios se necesitan para satisfacer la capacidad máxima sin sobredimensionar los clústeres de entrenamiento con GPU.
Lea también: La central eléctrica de Drax podría convertirse en un centro de datos de IA de 20.000 millones de libras
De la escasez de GPU al diseño de flotas mixtas
El contexto es una carrera de dos años entre proveedores de servicios en la nube y empresas para asegurarse suficiente hardware de IA.
Al principio, la demanda se centró en los clústeres de entrenamiento de Nvidia, porque los modelos de vanguardia necesitaban el ecosistema de software más amplio y la vía de escalado más probada.
A medida que las cargas de trabajo maduraron, los compradores empezaron a dividir la pila tecnológica. El entrenamiento sigue dependiendo de las GPU de gama más alta.
La inferencia abre espacio para el silicio personalizado, los aceleradores específicos para cada aplicación y los diseños a nivel de rack que pueden adaptarse a tamaños de modelo y patrones de tráfico conocidos.
Ahí es donde entra en juego la oferta de SambaNova. Supermicro ya presta servicio a clientes que implementan varios tipos de chips en una misma instalación.
Incorporar SambaNova a ese catálogo ofrece a los compradores otra opción sin obligarlos a reconstruir de una sola vez toda la capa de software y operaciones.
Distribución y riesgo de cambio
La distribución suele ser más difícil que el diseño de chips. Muchas empresas emergentes de hardware de IA pueden fabricar silicio.
Muchos menos pueden integrar sus sistemas en los canales estándar de compras empresariales.
Supermicro ayuda a cerrar esa brecha porque ya vende racks integrados a los clientes a los que SambaNova quiere llegar, desde empresas hasta proveedores de servicios. Si esos compradores pueden pedir el producto a través de un proveedor de sistemas conocido, las implementaciones de prueba resultan más fáciles.
La existencia de un canal comercial a través de Supermicro indica un paso de la fase de prototipo a la disponibilidad a gran escala, lo que en la práctica revela más sobre la capacidad y el suministro probables que la hoja de ruta de productos de un proveedor por sí sola.
La formulación sobre el funcionamiento conjunto con GPU de Nvidia también reduce el riesgo de cambio. Un centro de datos puede añadir capacidad de SambaNova para inferencia sin retirar los clústeres de GPU existentes ni reescribir todos los flujos de trabajo de una vez.
En la práctica, esto significa que los operadores pueden distribuir el gasto de capital entre racks especializados: adquirir capacidad de inferencia de Supermicro y SambaNova para alcanzar objetivos de coste por consulta y mantener la inversión en GPU enfocada en el entrenamiento y las cargas de trabajo multipropósito.
La propuesta de SambaNova y Supermicro es que los racks SN50 permiten a los operadores asignar cargas de trabajo de inferencia específicas a hardware optimizado para esos patrones. Por ejemplo, un servicio de búsqueda de comercio electrónico que requiera un rendimiento constante y de baja latencia puede ejecutarse en racks SN50 dimensionados para alcanzar las tasas máximas de tokens dentro de un presupuesto energético definido, mientras que el entrenamiento por lotes grandes y ocasionales permanece en los clústeres de GPU.
Las principales métricas para los compradores serán el rendimiento publicado, medido en consultas o tokens por segundo; el consumo eléctrico a nivel de rack; y el coste por unidad de inferencia.
Los compromisos de capital y la disponibilidad de productos que se observen en el mercado serán señales más sólidas de intención de implementación que las afirmaciones promocionales.
Para los compradores de servicios en la nube y empresas, lo próximo que habrá que observar es si SambaNova publica cifras de rendimiento, consumo eléctrico y coste de estos sistemas frente a las opciones de inferencia basadas en GPU. Sin esas cifras, el acuerdo trata principalmente de acceso.
Con ellas, se convierte en una comparación directa de precios y capacidad.
A continuación: El entrenamiento RLVR hace que los chatbots adivinen ante problemas más difíciles