$GOOGLB
A IA de uso geral supera as ferramentas específicas para a clínica: estudo da Nature revela uma surpresa na IA médica
Na área da saúde, “IA feita sob medida” nem sempre vence “IA de uso geral”. Um estudo publicado na *Nature Medicine* descobriu que três grandes modelos de linguagem (LLMs) de uso geral e de ponta superaram amplamente dois populares sistemas de IA específicos para a clínica em diversos benchmarks médicos e em perguntas reais feitas por médicos; e o desempenho destes últimos ficou, inclusive, apenas comparável ao de um resumo de IA do Google.
Os três modelos de uso geral foram avaliados em três etapas contra duas ferramentas de IA voltadas à clínica: o OpenEvidence e o UpToDate Expert AI. A avaliação foi dividida assim: a primeira etapa é o MedQA com 500 questões, para medir conhecimento médico; a segunda é o HealthBench com 500 itens, para avaliar consistência com médicos clínicos; e a terceira é o benchmark RCQ “perguntas clínicas reais”, que reúne 100 perguntas desidentificadas feitas por médicos em ambientes clínicos para modelos de uso geral, e depois é avaliado por 12 médicos clínicos dos EUA em um sistema aleatório e cego de pontuação, gerando um total de 1.800 anotações.
Com vitória em todas as três etapas, os modelos de uso geral alcançaram o melhor resultado no MedQA, com 97,4%, mostrando que eles superaram os concorrentes em todas as etapas. Por exemplo, no MedQA, a acurácia do Gemini foi a mais alta, chegando a 97,4%; a do GPT foi 94,2%, e a do Claude 90,2%. Em comparação, o OpenEvidence obteve 89,6% e o UpToDate 88,4%. O ponto mais crucial é que, no RCQ — o que mais se aproxima das situações práticas — o desempenho dessas duas ferramentas clínicas ficou apenas próximo ao de “uma IA de busca do Google com resumos automáticos”.
Um alerta para o “fosso” da IA médica vertical
Esse resultado desafia uma suposição comum: em um campo altamente profissional como a medicina, seria necessário usar IA “especialmente construída” e “alimentada com dados específicos” para que ela seja confiável. O estudo sugere que, quando os modelos gerais já são suficientemente fortes, as ferramentas dedicadas, se não apresentarem um ganho claro, podem ter seu “fosso” questionado.
Ele também evidencia uma lacuna regulatória: algumas ferramentas de IA clínica já obtiveram certificação da FDA dos EUA, mas, nos testes, ficaram atrás de modelos gerais que não foram ajustados especificamente para a medicina, o que destaca que os padrões atuais de validação talvez não estejam acompanhando a velocidade com que os modelos evoluem.
Vale lembrar que se trata de uma pesquisa focada principalmente em benchmarks e pontuações por avaliação cega, e isso não significa que “modelos de uso geral podem ser usados diretamente para atender pacientes”. As responsabilidades, a conformidade e a segurança no ambiente clínico ainda exigem validações clínicas mais rigorosas. Mas, pelo menos no quesito “responder perguntas médicas”, a IA de uso geral já alcançou — e em alguns casos ultrapassou — as ferramentas específicas.
Este artigo A IA de uso geral supera as ferramentas específicas para a clínica: estudo da Nature revela uma surpresa na IA médica aparece pela primeira vez em .
A IA de uso geral supera as ferramentas específicas para a clínica: estudo da Nature revela uma surpresa na IA médica
Na área da saúde, “IA feita sob medida” nem sempre vence “IA de uso geral”. Um estudo publicado na *Nature Medicine* descobriu que três grandes modelos de linguagem (LLMs) de uso geral e de ponta superaram amplamente dois populares sistemas de IA específicos para a clínica em diversos benchmarks médicos e em perguntas reais feitas por médicos; e o desempenho destes últimos ficou, inclusive, apenas comparável ao de um resumo de IA do Google.
Os três modelos de uso geral foram avaliados em três etapas contra duas ferramentas de IA voltadas à clínica: o OpenEvidence e o UpToDate Expert AI. A avaliação foi dividida assim: a primeira etapa é o MedQA com 500 questões, para medir conhecimento médico; a segunda é o HealthBench com 500 itens, para avaliar consistência com médicos clínicos; e a terceira é o benchmark RCQ “perguntas clínicas reais”, que reúne 100 perguntas desidentificadas feitas por médicos em ambientes clínicos para modelos de uso geral, e depois é avaliado por 12 médicos clínicos dos EUA em um sistema aleatório e cego de pontuação, gerando um total de 1.800 anotações.
Com vitória em todas as três etapas, os modelos de uso geral alcançaram o melhor resultado no MedQA, com 97,4%, mostrando que eles superaram os concorrentes em todas as etapas. Por exemplo, no MedQA, a acurácia do Gemini foi a mais alta, chegando a 97,4%; a do GPT foi 94,2%, e a do Claude 90,2%. Em comparação, o OpenEvidence obteve 89,6% e o UpToDate 88,4%. O ponto mais crucial é que, no RCQ — o que mais se aproxima das situações práticas — o desempenho dessas duas ferramentas clínicas ficou apenas próximo ao de “uma IA de busca do Google com resumos automáticos”.
Um alerta para o “fosso” da IA médica vertical
Esse resultado desafia uma suposição comum: em um campo altamente profissional como a medicina, seria necessário usar IA “especialmente construída” e “alimentada com dados específicos” para que ela seja confiável. O estudo sugere que, quando os modelos gerais já são suficientemente fortes, as ferramentas dedicadas, se não apresentarem um ganho claro, podem ter seu “fosso” questionado.
Ele também evidencia uma lacuna regulatória: algumas ferramentas de IA clínica já obtiveram certificação da FDA dos EUA, mas, nos testes, ficaram atrás de modelos gerais que não foram ajustados especificamente para a medicina, o que destaca que os padrões atuais de validação talvez não estejam acompanhando a velocidade com que os modelos evoluem.
Vale lembrar que se trata de uma pesquisa focada principalmente em benchmarks e pontuações por avaliação cega, e isso não significa que “modelos de uso geral podem ser usados diretamente para atender pacientes”. As responsabilidades, a conformidade e a segurança no ambiente clínico ainda exigem validações clínicas mais rigorosas. Mas, pelo menos no quesito “responder perguntas médicas”, a IA de uso geral já alcançou — e em alguns casos ultrapassou — as ferramentas específicas.
Este artigo A IA de uso geral supera as ferramentas específicas para a clínica: estudo da Nature revela uma surpresa na IA médica aparece pela primeira vez em .