Muse Wonder de Meta vient d’obtenir le meilleur score de qualité globale lors d’un test mensuel évaluant la capacité de l’IA à traiter de véritables tâches juridiques. Il a devancé des modèles concurrents d’OpenAI sur un marché où les cabinets d’avocats choisissent à quelle IA confier les dossiers de leurs clients.

Points clés

  • Muse Wonder a obtenu le meilleur score de qualité globale dans les résultats de novembre de Legora pour les tâches juridiques

  • Le modèle est arrivé en tête dans quatre types de tâches : analyse et réponses, extraction, rédaction et révision

  • GPT-6.2 Astra d’OpenAI a dominé les tâches de comparaison et de révision, avec un coût par dossier inférieur de 20 % à la moyenne

  • Le GPT-6.2 Sol d’OpenAI a offert une qualité supérieure à la moyenne, pour un coût par dossier inférieur de 78 % à la moyenne

Meta a publié sur X que le travail juridique est « un véritable test pour l’IA » et a qualifié le résultat de « belle performance dans les types de tâches complexes pour lesquelles les entreprises ont besoin d’aide ».

Le classement provient de Legora, une plateforme d’IA juridique utilisée par des cabinets d’avocats. Chaque mois, elle publie les résultats de son benchmark BAR, qui compare les performances des modèles d’IA sur des tâches juridiques concrètes réalisées dans son produit.

Les domaines où Meta et OpenAI l’ont emporté

ModèleFabricantPoints fortsCoût par dossierMuse WonderMetaMeilleure qualité globale, ainsi que pour l’analyse et les réponses, l’extraction, la rédaction et la révisionNon communiqué dans les résultats partagés par MetaGPT-6.2 AstraOpenAITâches de comparaison et de révision, avec une qualité globale supérieure de 4 % à la moyenne de novembre20 % sous la moyenneGPT-6.2 SolOpenAIQualité supérieure à la moyenne78 % sous la moyenne

Source : résultats de novembre de Legora, tels que partagés par Meta.

C’est la différence entre les deux qui est révélatrice. Le modèle de Meta l’a emporté sur la qualité, tandis que les deux modèles d’OpenAI ont été présentés comme avantageux en termes de rapport qualité-prix. Pour un cabinet d’avocats qui traite des milliers de contrats, un modèle presque aussi performant pour une fraction du prix peut remporter le contrat, même s’il ne domine pas le classement.

Les résultats partagés par Meta ne précisaient pas le coût par dossier de Muse Wonder. La question la plus importante pour les acheteurs reste donc sans réponse : combien vaut la peine de payer pour obtenir une meilleure qualité ?

À lire aussi : Muse Wonder de Meta obtient un score parfait de 79, à deux points de Claude d’Anthropic

Pourquoi le travail juridique est un test difficile

Le travail juridique ne pardonne pas les petites erreurs. Un modèle doit extraire les bons faits de longs documents, répondre aux questions sans rien inventer, rédiger des textes solides et réviser sans modifier le sens d’une clause. Muse Wonder a dominé ces quatre types de tâches, ce qui explique pourquoi Meta s’appuie sur ce résultat pour affirmer que son IA est prête à accomplir des tâches professionnelles sérieuses.

Cela apporte également un nouvel éclairage sur les évaluations précédentes. Fathom avait indiqué que Muse Wonder était à deux points derrière Claude d’Anthropic au score global. Une victoire sur des tâches juridiques ciblées et à forts enjeux laisse penser que l’écart entre les meilleurs modèles dépend désormais largement de la tâche à accomplir.

Comment Meta pousse Muse dans le monde du travail

Ce résultat dans le domaine juridique vient couronner un mois chargé pour la famille Muse. Le 6 novembre, Meta a intégré Muse et Meta AI à des modèles spécialisés entraînés à l’aide de Muse Wonder, affirmant qu’ils offrent aux utilisateurs certaines des « capacités de pointe » de Muse Wonder pour les « tâches complexes au travail et dans la vie quotidienne ». Parmi elles figurent Active Memory et Active Focus, qui, selon Meta, aident les modèles à rester alignés sur les objectifs de l’utilisateur au fil des tâches.

Le 9 novembre, Meta a présenté Muse Ember, son modèle le plus petit et le plus efficace, conçu pour le « raisonnement complexe, l’exécution et les tâches courantes des agents ». Il dispose d’une fenêtre de contexte d’un million de jetons, ce qui lui permet de garder en mémoire une très grande quantité de contenu à la fois. Le même jour, Meta a rendu Muse Ember, Muse Wonder et Muse Spark 1.3 disponibles sur Google Cloud, afin que les entreprises puissent les utiliser sur cette plateforme.

Les prochaines évolutions à surveiller

Legora publie ses résultats chaque mois. Ceux de décembre montreront donc si Muse Wonder conserve la première place ou si OpenAI réduit l’écart de qualité tout en restant moins cher.

Surveillez la publication par Meta des tarifs par tâche. Les cabinets d’avocats et les services juridiques des entreprises choisissent en fonction du coût autant que de la précision ; une avance en qualité ne se traduira par des contrats que si le prix est raisonnable.

Le changement le plus important est que les fabricants d’IA se livrent désormais concurrence sur des tâches précises, et non plus seulement sur la conversation générale. Le travail juridique est l’un des premiers domaines où les résultats sont suivis tâche par tâche, et les succès obtenus pourraient influencer les modèles auxquels les cabinets s’abonneront en 2027.

À lire ensuite : Meta s’associe à son concurrent Google pour proposer ses 3 modèles d’IA Muse dans le cloud