Amazon affirme qu’Amazon SageMaker AI, son service de création d’applications, peut apprendre à des assistants d’IA moins coûteux à imiter des assistants coûteux, afin que les entreprises puissent accélérer les revues d’ingénierie et réduire considérablement les coûts d’exploitation.
Points clés à retenir
Amazon SageMaker AI a publié un processus de distillation des connaissances qui entraîne des modèles plus petits à reproduire le comportement en plusieurs étapes d’un agent de pointe
La méthode utilise la distillation des connaissances au niveau des séquences, ou SeqKD, pour transférer les décisions d’un agent enseignant vers un modèle étudiant plus petit
SeqKD apprend à l’étudiant à reproduire le parcours complet de l’enseignant, y compris les appels d’outils, les sorties intermédiaires et l’ordre des étapes
Dans une autre publication, AWS a montré que Bedrock AgentCore et les embeddings Nova avaient réduit des journées de travail consacrées aux revues d’ingénierie à quelques minutes
Amazon (AMZN) a indiqué que cette méthode repose sur la distillation de connaissances au niveau des séquences, ou SeqKD, afin de transférer les décisions d’un agent d’un modèle enseignant plus puissant vers un modèle élève plus petit. Amazon SageMaker AI est la plateforme gérée d’AWS pour créer, entraîner et déployer des systèmes d’apprentissage automatique.
Dans une deuxième publication diffusée lundi, AWS a mis en avant le même enjeu de coûts sous un autre angle : Amazon Bedrock AgentCore et les embeddings Nova ont permis de réduire des journées de travail consacrées aux revues d’ingénierie à quelques minutes.
Ensemble, les deux publications véhiculent un message simple d’AWS : les grands modèles peuvent amorcer le travail, mais ce sont des systèmes plus petits et spécialisés qui devraient le terminer.
Amazon SageMaker AI cherche à réduire la facture des agents
Le nouveau processus SageMaker cible un problème qu’il devient difficile d’ignorer dans l’IA d’entreprise : les systèmes agentiques peuvent déclencher de nombreux appels de modèles au cours d’une seule tâche, rendant chaque réponse obtenue bien plus coûteuse qu’une simple réponse de chatbot.
L’approche publiée enseigne au modèle élève la séquence d’actions du modèle enseignant, ses choix d’outils et ses étapes intermédiaires, en plus des résultats. Les entreprises peuvent ainsi réserver les modèles coûteux à l’entraînement ou aux cas limites, et confier les requêtes courantes à des modèles moins chers.
C’est important pour les acheteurs qui cherchent à dépasser le stade des projets pilotes. Une entreprise peut tolérer une démonstration coûteuse, mais pas une file de demandes d’assistance, un assistant de programmation ou un agent administratif qui tourne des milliers de fois par jour et coûte tout aussi cher.
Des démonstrations Bedrock aux exigences de la production
La publication de lundi sur SageMaker s’inscrit dans une série plus large de témoignages de clients et de développeurs d’AWS sur l’exploitation des agents.
Un autre article indique que Circle K a réduit le triage des incidents DevOps, qui prenait de 45 à 60 minutes, à moins de 15 minutes grâce à Amazon Bedrock, illustrant l’importance des coûts des agents. Dès qu’un agent intervient dans un processus de travail en production, les coûts et la latence cessent d’être de simples mesures de laboratoire et deviennent des contraintes opérationnelles.
À lire également : les agents d’IA vous coûtent d’autant plus cher qu’ils travaillent longtemps pour vous
Ce contexte aide à comprendre pourquoi la distillation est passée du domaine de la recherche à celui des recommandations produit.
L’an dernier, de nombreux déploiements en entreprise visaient à prouver que les agents pouvaient accomplir des tâches. Cette année, la question est de savoir s’ils peuvent le faire à un coût suffisamment bas pour rester activés.
Ce que les acheteurs devraient surveiller ensuite
La question reste de savoir dans quelle mesure un modèle distillé plus petit perd en performances sur des charges de travail réelles et complexes.
La publication d’AWS présente une piste, et non une référence universelle. Avant de repenser leurs systèmes de production autour de cette approche, les acheteurs voudront connaître des chiffres propres à leurs tâches concernant les taux d’échec, l’utilisation abusive des outils et la fréquence du réentraînement.
Le blog d’AWS décrit explicitement un processus pratique en trois étapes pour les clients d’Amazon SageMaker AI : générer des traces de comportement à partir d’un agent enseignant performant, entraîner un modèle élève à partir de ces traces dans l’environnement d’entraînement géré de SageMaker, puis déployer le modèle élève distillé pour les inférences courantes afin de réduire les coûts d’exploitation.
Si ce processus fonctionne pour les tâches d’assistance, de programmation et d’exploitation, il apportera une réponse pratique à l’un des problèmes de coûts les plus difficiles de l’IA d’entreprise.
Comment SeqKD reproduit les actions d’un agent
Selon la présentation d’Amazon sur le blog SageMaker, SeqKD enseigne au modèle élève le parcours complet suivi par le modèle enseignant, notamment le moment où celui-ci a utilisé un outil, ce qu’il lui a demandé et l’ordre des étapes.
La publication donne des exemples de capture d’appels d’outils et de résultats intermédiaires, afin que le modèle élève apprenne la politique au niveau des séquences plutôt que de se contenter de la réponse finale en texte.
Cela diffère des anciennes méthodes de réglage fin, qui apprenaient principalement à partir de paires entrée-sortie. En apprenant à reproduire le comportement d’un modèle plus puissant, un modèle de pointe peut rester le coûteux formateur, tandis que le modèle plus petit devient l’outil du quotidien, ce qui réduit les coûts d’inférence et les raisons de limiter l’utilisation.
Amazon SageMaker AI en contexte
Les recommandations d’Amazon SageMaker AI concernant SeqKD arrivent alors que les clients passent de l’expérimentation à la mise en production et se heurtent à de véritables contraintes de coûts.
Les deux publications d’AWS présentent conjointement les outils SageMaker et Bedrock comme complémentaires : SageMaker AI permet de distiller et de déployer des modèles plus petits et moins coûteux, tandis que Bedrock AgentCore et les embeddings Nova permettent de condenser des processus d’ingénierie qui prenaient auparavant des jours. Cette combinaison illustre la manière dont AWS décrit un parcours opérationnel allant de la recherche sur les grands modèles à des agents moins coûteux et évolutifs.
À lire ensuite : le géant pétrolier saoudien soutient des centres informatiques locaux pour rapatrier le travail