O Muse Wonder da Meta acaba de obter a melhor pontuação geral de qualidade num teste mensal sobre a forma como a IA lida com trabalho jurídico real, superando modelos rivais da OpenAI num mercado em que os escritórios de advogados estão a decidir em que IA confiar os casos dos seus clientes.
Principais conclusões
Muse Wonder obteve a classificação mais alta em qualidade geral nos resultados de novembro da Legora para trabalho jurídico
Liderou em quatro tipos de tarefas: análise e resposta, extração, redação e edição
O GPT-6.2 Astra da OpenAI liderou nas tarefas de comparação e revisão, com um custo por caso 20% abaixo da média
O GPT-6.2 Sol da OpenAI ofereceu qualidade acima da média a um custo por caso 78% inferior à média
A Meta publicou no X que o trabalho jurídico é “um teste difícil para a IA” e chamou o resultado de “um desempenho sólido em tipos de tarefas complexas para as quais as empresas precisam de ajuda”.
A classificação é da Legora, uma plataforma de IA jurídica usada por escritórios de advocacia. Todo mês, ela publica resultados de seu benchmark BAR, que compara o desempenho de modelos de IA em tarefas jurídicas do mundo real dentro do seu produto.
Onde a Meta venceu e onde a OpenAI venceu
ModeloFabricanteOnde se destacouCusto por casoMuse WonderMetaMaior qualidade geral, além de análise e respostas, extração, elaboração e ediçãoNão divulgado nos resultados compartilhados pela MetaGPT-6.2 AstraOpenAITarefas de comparação e revisão, com qualidade geral 4% acima da média de novembro20% abaixo da médiaGPT-6.2 SolOpenAIQualidade acima da média78% abaixo da média
Fonte: resultados de novembro da Legora, conforme compartilhados pela Meta.
A divisão é o que realmente importa. O modelo da Meta venceu em qualidade, enquanto os dois modelos da OpenAI foram apresentados como opções com bom custo-benefício. Para um escritório de advocacia que analisa milhares de contratos, um modelo quase tão bom por uma fração do preço pode conquistar o cliente, mesmo sem liderar a classificação.
Os resultados compartilhados pela Meta não informaram quanto custa cada caso com o Muse Wonder. Isso deixa em aberto a pergunta mais importante para os compradores: quanto vale pagar a mais por mais qualidade?
Leia também: Muse Wonder, da Meta, marca 79 pontos e fica dois atrás do Claude, da Anthropic
Por que o trabalho jurídico é um teste difícil
O trabalho jurídico não perdoa pequenos erros. Um modelo precisa extrair os fatos corretos de documentos longos, responder a perguntas sem inventar nada, redigir textos que resistam ao escrutínio e editar sem alterar o significado de uma cláusula. O Muse Wonder liderou nos quatro tipos de tarefa, e é por isso que a Meta está usando o resultado para argumentar que sua IA está pronta para trabalhos empresariais sérios.
Isso também acrescenta uma nuance às avaliações anteriores. A Fathom havia informado que o Muse Wonder ficou dois pontos atrás do Claude, da Anthropic, na pontuação geral. Uma vitória em tarefas jurídicas específicas e de alto risco sugere que a diferença entre os principais modelos agora depende muito do trabalho a ser feito.
Como a Meta está levando o Muse para o trabalho
O resultado jurídico encerra um mês movimentado para a família Muse. Em 6 de novembro, a Meta levou para o Muse e o Meta AI modelos especializados treinados com o Muse Wonder, dizendo que eles oferecem aos usuários alguns dos “recursos de ponta” do Muse Wonder para “tarefas complexas no trabalho e no dia a dia”. Entre eles estão o Active Memory e o Active Focus, que, segundo a Meta, ajudam os modelos a se manter alinhados aos objetivos do usuário à medida que as tarefas avançam.
Em 9 de novembro, a Meta apresentou o Muse Ember, seu modelo menor e mais eficiente, desenvolvido para “execução de raciocínio complexo e tarefas cotidianas de agentes”. Ele tem uma janela de contexto de 1 milhão de tokens, o que significa que consegue manter uma quantidade muito grande de material em consideração de uma só vez. No mesmo dia, a Meta levou o Muse Ember, o Muse Wonder e o Muse Spark 1.3 para o Google Cloud, permitindo que empresas os utilizem por lá.
O que acompanhar a seguir
A Legora publica seus resultados todo mês, então os números de dezembro mostrarão se o Muse Wonder mantém a liderança ou se a OpenAI reduz a diferença em qualidade sem deixar de ser mais barata.
Fique de olho para ver se a Meta divulga preços por tarefa. Escritórios de advocacia e departamentos jurídicos de empresas levam em conta tanto o custo quanto a precisão, e uma vantagem em qualidade só se traduz em contratos se o preço fizer sentido.
A mudança mais ampla é que os desenvolvedores de IA agora competem em tarefas específicas, não apenas em conversas gerais. O trabalho jurídico é um dos primeiros campos em que os resultados são acompanhados tarefa por tarefa, e as vitórias nessa área provavelmente influenciarão quais modelos os escritórios contratarão em 2027.
Leia a seguir: Meta se une à rival Google para levar seus três modelos de IA Muse à nuvem