Amazon Web Services añadió a SageMaker el sistema de Nvidia para compartir chips, de modo que varios modelos de un endpoint puedan ejecutarse a la vez en un mismo chip gráfico, lo que puede reducir el costo por solicitud.

Puntos clave

  • SageMaker Inference ahora admite particiones de GPU multinstancia (MIG) de Nvidia, por lo que distintos modelos de un endpoint pueden compartir un acelerador

  • AWS añadió dos campos opcionales a la API para que los clientes puedan ubicar un endpoint en una GPU completa o en una partición MIG específica

  • Las particiones MIG proporcionan a cada segmento su propia asignación de memoria y capacidad de cómputo, con recursos aislados a nivel de hardware

  • Agrupar cargas de trabajo mixtas en un solo acelerador puede aumentar la utilización y reducir el coste por solicitud en los sistemas de inferencia

AWS afirmó en una entrada de blog publicada el viernes que SageMaker Inference ahora es compatible con Multi-Instance GPU para endpoints de modelos. Nvidia describe MIG como una partición de hardware que convierte una GPU física en varias instancias aisladas.

Amazon Web Services ofrece infraestructura en la nube y productos de aprendizaje automático, y SageMaker Inference es su sistema gestionado para servir modelos a través de endpoints de producción.

La nueva compatibilidad aborda un problema económico básico de la inferencia de IA: los modelos pequeños y medianos a menudo no aprovechan toda una GPU moderna.

Una GPU, más trabajo rentable

Un endpoint dedicado ofrece un rendimiento predecible para un modelo, pero también puede dejar capacidad de cómputo costosa sin aprovechar. Si un modelo solo necesita una fracción de una GPU, la parte no utilizada sigue reservándose y facturándose.

MIG cambia esto al dividir el chip en el nivel de hardware. Cada fracción tiene su propia memoria y asignación de cómputo, lo que permite que un modelo pequeño comparta una GPU con otro sin recurrir a trucos de uso compartido solo por software.

Esto es especialmente importante para los sistemas de inferencia con cargas de trabajo mixtas. Una empresa puede servir a la vez un chatbot, un clasificador y un modelo de embeddings, cada uno con patrones de tráfico diferentes.

Agruparlos en un solo acelerador puede aumentar la utilización y reducir el coste por solicitud.

De la carrera por el entrenamiento al margen de la inferencia

Durante dos años, el mercado de la IA habló de comprar más GPU. La próxima batalla consiste en obtener más ingresos de las GPU que ya están instaladas en los racks.

La inferencia, no el entrenamiento, es donde muchas facturas de la nube se convierten en costes operativos recurrentes.

Lee también: Amazon afirma que un nuevo truco de memoria podría reducir los costes de los chatbots

La actualización del viernes se enmarca en un cambio más amplio en toda la infraestructura de la nube. En lugar de dar por sentado que cada acelerador tendrá un modelo grande, los proveedores están optimizando la fragmentación, el aislamiento y la planificación.

Son problemas menos llamativos, pero determinan si los productos de IA pueden mantener sus márgenes a gran escala.

AWS no vinculó la función a una sola familia de modelos. Por eso resulta pertinente para equipos que implementan modelos de imágenes, modelos de lenguaje más pequeños o sistemas especializados que no justifican el acceso exclusivo a un chip de gama alta.

Cómo utiliza SageMaker Multi-Instance GPU de Nvidia

SageMaker Inference gestiona los servidores que responden a las solicitudes de los modelos una vez finalizado el entrenamiento. Un endpoint de modelo es el servicio activo que recibe instrucciones o datos y devuelve predicciones. Con MIG habilitado, AWS puede asignar un componente de inferencia a una fracción definida de una GPU Nvidia compatible, en lugar de utilizar todo el dispositivo.

El cambio clave es el aislamiento en la capa de hardware.

Un planificador de software puede compartir una GPU por turnos, pero una carga de trabajo que consuma muchos recursos puede seguir interfiriendo con otra. MIG divide los recursos antes de ejecutar los trabajos, de modo que cada fracción tiene capacidad y memoria reservadas.

Eso facilita evaluar la latencia y los dominios de fallo.

Para las startups y los equipos internos de plataformas, la ventaja no es solo el menor coste. MIG también facilita adaptar el hardware al tamaño de la carga de trabajo.

Un modelo ligero de moderación ya no tiene que funcionar en solitario en la misma clase de acelerador que se utiliza para sistemas mucho más grandes.

Complejidad operativa y decisiones de asignación

La partición de GPU puede reducir el desperdicio, pero también añade opciones de asignación. Ahora los equipos deben decidir cuándo usar una GPU completa, cuándo usar una fracción y cómo reequilibrar la carga a medida que cambia el tráfico.

Eso hace que la observabilidad sea importante.

Si un endpoint supera la capacidad de su fracción, la latencia aumentará y desaparecerá el ahorro. Las configuraciones más eficaces serán las que relacionen el tamaño del modelo, el tráfico y la política de partición sin obligar a los ingenieros a gestionar cada endpoint al detalle.

Lee a continuación: Nvidia afirma que 8.000 instituciones ya utilizan sus herramientas de investigación sobre 6G