Message ME AI, analyse Beating AI Flash : Jev Router est mis en ligne sur OpenRouter. Il relie Jev de TypeSafe au routage des modèles. Avant d’émettre chaque requête, Jev évalue la difficulté de la tâche, les exigences de précision, ainsi que si le modèle actuel et le niveau de raisonnement (inference) sont suffisants. Ensuite, il décide de continuer en l’état, d’augmenter la puissance de raisonnement, ou de changer de modèle. Le Auto Router d’OpenRouter d’origine privilégie plutôt la sélection du modèle selon le type de tâche. Il détermine d’abord de quel type de tâche il s’agit, puis s’appuie sur l’utilisation des différents modèles sur les 7 derniers jours pour choisir la route. Le Jev Router regarde aussi, pour cette itération, à quel point la tâche est difficile : pour les tâches simples, il peut réduire le niveau ; pour les problèmes difficiles, il peut augmenter l’effort de raisonnement. Et si le même modèle peut encore résoudre le problème, il n’y a pas de raison pressante de changer de modèle. Il y a aussi une question très concrète : le cache du contexte. Dans une longue conversation, dès qu’on change de modèle, le contexte déjà mis en cache ne peut généralement pas être réutilisé directement : le nouveau modèle devra probablement retraiter l’ensemble de l’historique. Jev Router intègre aussi cette perte dans son calcul. OpenRouter affirme que le changement de modèle ne se fait réellement que lorsque le gain de performance attendu lié au changement dépasse le coût de la commutation. Sinon, il essaie autant que possible de continuer avec le même modèle. OpenRouter indique aussi, via son auto-test, que sur 423 tâches réparties dans 4 benchmarks d’agents, Jev Router en termine 237, tandis que Auto Router en termine 130, soit environ 82 % de tâches en plus résolues. Sur 5 autres benchmarks d’agents, son délai médian pour le premier token est également plus bas que celui des autres routeurs ayant participé aux tests. Une approche similaire est apparue auparavant dans la communauté Jev : par exemple, `gholtzap/jev-codex-model-and-effort-router` demande d’abord à Jev de faire choisir à Codex le modèle et le niveau de raisonnement, puis fixe ensuite le thread entier afin de réutiliser le cache ; `Jev-Auto-Router` tente de sélectionner le modèle de nouveau à chaque appel. Cette fois, OpenRouter intègre directement ces pratiques dans son service de routage officiel. (Source : ME)