Según los investigadores, la IA para la atención oncológica tropezó después del diagnóstico en NPC-RubricBench, una nueva prueba en la que 30 chatbots cometieron errores de estadificación en el 48.2% de los casos y omitieron muchos pasos posteriores de la atención.
Conclusiones principales
NPC-RubricBench utilizó 405 pacientes y 17,688 criterios específicos de cada paciente para evaluar decisiones adecuadas a cada fase
Los autores evaluaron 30 modelos de propósito general y médicos en 941 unidades de paciente-fase
Los errores explícitos de decisión alcanzaron el 48.2% en la estadificación anatómica, y las omisiones predominaron en las fases posteriores
Las indicaciones abiertas y generales sobre la atención oncológica perjudicaron la calidad de las decisiones de la IA, mientras que las indicaciones detalladas en forma de lista de verificación mejoraron la calidad de las decisiones, pero redujeron la fidelidad a la evidencia y el cumplimiento de las normas de seguridad
Los autores escribieron el lunes que evaluaron 30 modelos de propósito general y médicos en 941 unidades de paciente-fase y descubrieron que los errores explícitos de decisión alcanzaban el 48,2 % en la estadificación anatómica, mientras que las omisiones predominaban en las fases posteriores. El estudio sostiene que las pruebas médicas estáticas no captan cómo cambian los fallos de los modelos con el tiempo.
La IA para la atención del cáncer falla después del primer paso
Muchas pruebas de IA médica plantean una pregunta en un solo momento, algo útil para el diagnóstico o para tareas clínicas breves. Sin embargo, la atención del cáncer en la práctica real se desarrolla por etapas: se evalúa al paciente, se determina el estadio, se realizan estudios, se trata y se hace un seguimiento a lo largo del tiempo.
El artículo creó una prueba de referencia centrada en el carcinoma nasofaríngeo y siguió esas transiciones, limitando cada evaluación a las pruebas que habrían estado disponibles en esa fase.
Esto importa porque la retrospectiva puede hacer que un modelo parezca más capaz de lo que habría parecido ante un médico o un paciente en la práctica real.
La clasificación de los modelos también varió entre las distintas fases: un alto rendimiento diagnóstico no se tradujo en una mejor atención posterior, e incluso algunos modelos adaptados al ámbito médico mostraron tasas de omisión más altas que los sistemas de propósito general.
Lea también: Una advertencia sobre la inferencia agéntica con LLM pide a los laboratorios reducir a la mitad la latencia y recortar los costos un 83 %
De una buena respuesta a seis fases de atención
Esta es la advertencia central del artículo: un modelo puede parecer excelente en la primera consulta y aun así fallar cuando cambia la tarea. En la estadificación anatómica, el principal problema fueron las decisiones equivocadas.
En la evaluación inicial y el seguimiento de la atención del cáncer, el principal problema fueron las decisiones necesarias que se omitían.
Esta distinción importa para los hospitales que evalúan copilotos de IA, porque una respuesta equivocada y un paso omitido generan riesgos operativos distintos: uno puede clasificar mal el caso; el otro puede dejar al paciente sin una prueba, una derivación o una acción de seguimiento.
El estudio también detectó una disyuntiva en las instrucciones: las solicitudes amplias y abiertas perjudicaron la calidad de las decisiones en los 30 modelos, mientras que las instrucciones más detalladas, en forma de lista de verificación, mejoraron esa calidad, pero redujeron la fidelidad a las pruebas y el cumplimiento de las medidas de seguridad. En la práctica, la instrucción más segura quizá no sea la más útil desde el punto de vista clínico.
Por qué NPC-RubricBench cambia la evaluación de la IA médica
NPC-RubricBench evalúa el rendimiento en seis fases de atención y 941 unidades de paciente-fase, extraídas de un conjunto de datos de 405 pacientes y 17.688 criterios específicos de cada paciente. Así, obliga a los modelos a tomar decisiones adecuadas para cada fase utilizando únicamente las pruebas disponibles en el momento de decidir.
En este conjunto de datos, los mismos modelos que obtuvieron una clasificación alta en el diagnóstico a menudo bajaron su rendimiento en las fases posteriores, con un cambio de errores explícitos de decisión en la estadificación anatómica a errores por omisión durante los estudios y el seguimiento.
Este deterioro específico de cada fase es el principal hallazgo que los hospitales deben tener en cuenta.
Para sistemas de salud como los de los dos centros oncológicos de este artículo, esto cambia la forma en que debería ser la validación. Los equipos de compras suelen preguntar si un modelo responde correctamente, pero este estudio pregunta si el mismo modelo sigue respondiendo correctamente en el momento adecuado y con solo las pruebas disponibles al tomar la decisión. Son pruebas distintas.
Lo próximo que habrá que observar es si los proveedores de modelos publican resultados por fase en pruebas de referencia como NPC-RubricBench, porque los compradores del sector sanitario necesitarán esas pruebas antes de confiar en la IA para algo más que redactar notas.
Lea a continuación: Anthropic abre sus libros para el Nasdaq en la primera gran prueba bursátil de la IA