Amazon Web Services a ajouté au service SageMaker le système de partage de puce de Nvidia, afin que plusieurs modèles hébergés sur un même point de terminaison puissent s’exécuter simultanément sur une seule puce graphique, ce qui peut réduire le coût par requête.

À retenir

• SageMaker Inference prend désormais en charge les partitions Nvidia Multi-Instance GPU (MIG), permettant à différents modèles hébergés sur un point de terminaison de partager un même accélérateur

• AWS a ajouté deux champs d’API facultatifs permettant aux clients de déployer un point de terminaison sur un GPU complet ou sur une tranche MIG spécifique

• Les partitions MIG attribuent à chaque tranche sa propre mémoire et sa propre capacité de calcul, pour isoler les ressources au niveau matériel

• Regrouper des charges de travail variées sur un seul accélérateur peut améliorer le taux d’utilisation et réduire le coût par requête pour les parcs d’inférence.

Dans un article publié vendredi sur son blog, AWS a annoncé que SageMaker Inference prend désormais en charge Multi-Instance GPU pour les points de terminaison de modèles. Nvidia décrit MIG comme un partitionnement matériel qui transforme un GPU physique en plusieurs instances isolées.

Amazon Web Services exploite une infrastructure cloud et propose des produits d’apprentissage automatique. SageMaker Inference est son système géré qui sert des modèles via des points de terminaison en production.

Cette nouvelle prise en charge répond à un problème économique fondamental du déploiement de l’IA : les petits et moyens modèles n’utilisent souvent pas pleinement un GPU moderne.

Un GPU, davantage de tâches rentables

Un point de terminaison dédié offre à un modèle des performances prévisibles, mais il peut aussi immobiliser des ressources de calcul coûteuses. Si un modèle n’a besoin que d’une fraction d’un GPU, la partie inutilisée reste réservée et facturée.

MIG change la donne en découpant la puce au niveau matériel. Chaque tranche dispose de sa propre mémoire et de ses propres ressources de calcul. Un petit modèle peut ainsi partager un GPU avec un autre modèle, sans recourir à des astuces de partage uniquement logicielles.

C’est particulièrement important pour les parcs d’inférence qui exécutent des charges de travail variées. Une entreprise peut servir simultanément un chatbot, un classificateur et un modèle d’intégration, chacun avec des profils de trafic différents.

Les regrouper sur un seul accélérateur peut améliorer le taux d’utilisation et réduire le coût par requête.

De la course à l’entraînement à la rentabilité de l’inférence

Pendant deux ans, le marché de l’IA a parlé d’acheter davantage de GPU. Le prochain enjeu consiste à tirer davantage de revenus des GPU déjà installés dans les baies de serveurs.

C’est l’inférence, et non l’entraînement, qui transforme de nombreuses factures cloud en coûts d’exploitation récurrents.

À lire aussi : Amazon affirme qu’une nouvelle astuce de gestion de la mémoire pourrait réduire les coûts des chatbots

La mise à jour de vendredi s’inscrit dans une évolution plus générale de l’ensemble de la pile cloud. Au lieu de supposer qu’un grand modèle occupe chaque accélérateur, les fournisseurs adaptent leurs systèmes à la fragmentation, à l’isolation et à l’ordonnancement.

Ces problèmes sont moins spectaculaires, mais ils déterminent si les produits d’IA peuvent préserver leurs marges à grande échelle.

AWS n’a pas limité cette fonctionnalité à une seule famille de modèles. Elle peut donc intéresser un large éventail d’équipes déployant des modèles d’image, des modèles de langage plus petits ou des systèmes spécialisés qui ne justifient pas un accès exclusif à une puce haut de gamme.

Comment SageMaker utilise Nvidia Multi-Instance GPU

SageMaker Inference gère les serveurs qui répondent aux requêtes adressées aux modèles une fois leur entraînement terminé. Un point de terminaison de modèle est un service opérationnel qui reçoit des invites ou des données et renvoie des prédictions. Lorsque MIG est activé, AWS peut affecter un composant d’inférence à une fraction définie d’un GPU Nvidia compatible, plutôt qu’à l’appareil entier.

Le principal changement concerne l’isolation au niveau matériel.

Un ordonnanceur logiciel peut partager un GPU dans le temps, mais une charge de travail particulièrement gourmande peut tout de même perturber une autre. MIG répartit les ressources avant l’exécution des tâches, de sorte que chaque tranche dispose d’une capacité et d’une mémoire qui lui sont réservées.

Cela facilite l’analyse de la latence et des domaines de défaillance.

Pour les start-up et les équipes chargées des plateformes internes, l’avantage ne se limite pas à la réduction des coûts. MIG facilite également l’adaptation du matériel à la taille de la charge de travail.

Un modèle léger de modération n’a plus besoin d’être seul sur la même catégorie d’accélérateur que celle utilisée pour des systèmes bien plus importants.

Complexité opérationnelle et décisions de placement

Le partitionnement des GPU peut réduire le gaspillage, mais il ajoute aussi des choix de placement. Les équipes doivent désormais décider quand utiliser un GPU entier, quand en utiliser une tranche et comment rééquilibrer les ressources à mesure que le trafic évolue.

Cela rend l’observabilité importante.

Si un point de terminaison dépasse la capacité de sa tranche, la latence augmentera et les économies disparaîtront. Les configurations gagnantes seront celles qui relient la taille des modèles, le trafic et la politique de partitionnement sans obliger les ingénieurs à gérer chaque point de terminaison dans les moindres détails.

À lire ensuite : Nvidia affirme que 8 000 institutions utilisent désormais ses outils de recherche sur la 6G