L’IA en oncologie s’effondre après le diagnostic dans un test portant sur 405 patients

Selon les chercheurs, l’IA en oncologie a trébuché après le diagnostic dans NPC-RubricBench, un nouveau test où 30 chatbots ont commis des erreurs de stadification dans 48,2 % des cas et omis de nombreuses étapes ultérieures des soins.
Points clés à retenir
NPC-RubricBench a utilisé 405 patients et 17 688 critères propres à chaque patient pour évaluer des décisions adaptées à chaque phase
Les auteurs ont évalué 30 modèles généralistes et médicaux sur 941 unités patient-phase
Les erreurs de décision explicites ont atteint 48,2 % lors de la stadification anatomique, tandis que les omissions ont dominé lors des phases ultérieures
Les consignes ouvertes et générales sur les soins oncologiques ont nui à la qualité des décisions de l’IA, tandis que les consignes détaillées sous forme de liste de contrôle l’ont améliorée, mais ont réduit la fidélité aux preuves et le respect des exigences de sécurité
Les auteurs ont écrit lundi qu’ils avaient évalué 30 modèles généralistes et médicaux sur 941 unités patient-phase et constaté que les erreurs de décision explicites avaient atteint 48,2 % lors de la stadification anatomique, tandis que les omissions avaient dominé les phases ultérieures. L’étude soutient que les bancs d’essai médicaux statiques ne tiennent pas compte de l’évolution des défaillances des modèles au fil du temps.
L’IA en oncologie échoue après la première étape
De nombreux tests d’IA médicale posent une question à un moment donné, ce qui est utile pour le diagnostic ou les tâches cliniques de courte durée. Mais, dans la réalité, les soins oncologiques se déroulent par étapes : le patient est évalué, sa maladie est stadifiée, son dossier est complété, il est traité puis suivi au fil du temps.
L’article a créé un banc d’essai consacré au carcinome du nasopharynx et a suivi ces transitions, en limitant chaque évaluation aux éléments qui auraient été disponibles à cette étape.
C’est important, car le recul peut donner l’impression qu’un modèle est plus performant que ne l’auraient cru un médecin ou un patient dans la pratique réelle.
Le classement des modèles a également varié selon les phases : de hautes performances diagnostiques ne se sont pas traduites par de meilleurs soins par la suite, et certains modèles adaptés au domaine médical ont même présenté davantage d’omissions que les systèmes généralistes.
À lire également : Alerte sur l’inférence des LLM agentiques : des laboratoires divisent la latence par deux et réduisent les coûts de 83 %
D’une bonne réponse à six phases de soins
C’est l’avertissement central de l’article : un modèle peut sembler excellent lors du premier rendez-vous et tout de même échouer lorsque la tâche change. Pour la stadification anatomique, le principal problème était la prise de décisions erronées.
Lors du bilan initial et du suivi en oncologie, le principal problème de l’IA était l’omission de décisions nécessaires.
Cette distinction est importante pour les hôpitaux qui évaluent des copilotes d’IA, car une réponse erronée et une étape omise entraînent des risques opérationnels différents : l’une classe mal le cas, l’autre peut priver un patient d’un examen, d’une orientation ou d’une mesure de suivi.
L’étude a également mis en évidence un compromis concernant les consignes : les demandes générales et ouvertes ont nui à la qualité des décisions des 30 modèles, tandis que les consignes plus détaillées sous forme de liste de contrôle l’ont améliorée, mais ont réduit la fidélité aux preuves et le respect des exigences de sécurité. En pratique, la consigne la plus sûre n’est peut-être pas la plus utile sur le plan clinique.
Pourquoi NPC-RubricBench change l’évaluation de l’IA médicale
NPC-RubricBench évalue les performances au fil de six phases de soins et sur 941 unités patient-phase, issues d’un jeu de données comprenant 405 patients et 17 688 critères propres à chaque patient. Les modèles doivent ainsi prendre des décisions adaptées à chaque phase en se fondant uniquement sur les éléments disponibles au moment de la décision.
Dans ce jeu de données, les mêmes modèles qui obtenaient de bons résultats au diagnostic ont souvent vu leurs performances décliner lors des phases ultérieures, avec un passage des erreurs de décision explicites lors de la stadification anatomique aux erreurs par omission pendant le bilan et le suivi.
Cette dégradation propre à chaque phase est le principal résultat dont les hôpitaux doivent tenir compte.
Pour les systèmes de santé, comme les deux centres anticancéreux présentés dans cet article, cela change la manière dont la validation devrait se dérouler. Les équipes chargées des achats demandent souvent si un modèle répond correctement, mais cette étude cherche à savoir si le même modèle continue de répondre correctement au bon moment, en se fondant uniquement sur les éléments disponibles au moment de la décision. Ce sont deux tests différents.
La prochaine chose à surveiller est la publication par les fournisseurs de modèles de résultats par phase sur des bancs d’essai comme NPC-RubricBench, car les acheteurs du secteur de la santé auront besoin de ces preuves avant de faire confiance à l’IA au-delà de la rédaction de notes.
À lire ensuite : Anthropic ouvre ses comptes avant son introduction au Nasdaq, premier grand test boursier de l’IA