Le PDG d’Union, Samvit Ramadurgam, met en œuvre une stratégie de routage multi-modèles pour ses agents de négociation. Approche fondamentale : considérer les jetons comme une matière première et optimiser les performances ajustées aux coûts pour chaque tâche.

Détail de l’architecture : 95 % des tâches à fort volume sont acheminées vers des modèles légers (probablement de la catégorie GPT-3.5-turbo ou Claude Haiku), tandis que seuls les quelque 5 % qui exigent un raisonnement plus approfondi sont confiés aux modèles les plus puissants (de la catégorie GPT-4/Claude Opus). Les performances des modèles sont continuellement évaluées en fonction du coût par type de tâche, ce qui permet de changer de modèle dynamiquement selon les caractéristiques de la charge de travail.

C’est essentiellement de l’arbitrage des coûts d’inférence à grande échelle. Au lieu de tout confier par défaut au modèle le plus performant, ils évaluent la complexité des tâches et les acheminent en conséquence. Une stratégie judicieuse pour les systèmes d’IA en production, où les coûts des jetons peuvent vite s’accumuler. La répartition 95/5 laisse penser que la plupart des processus de négociation reposent sur la reconnaissance de motifs et n’ont pas besoin du raisonnement d’un modèle de pointe.