Me encontré mientras navegaba con otro benchmark bastante exigente de OpenAI: BioBasicsBench, creado junto con la empresa de diseño de enzimas Ligo para evaluar si la IA puede interpretar las caóticas evidencias originales de los «experimentos de laboratorio».
Son 100 preguntas: imágenes de geles, placas de colonias, pilas de imágenes microscópicas, exportaciones de lectores e incluso vídeos de mesas de laboratorio. Todo son problemas habituales del trabajo experimental, no imágenes bonitas seleccionadas de artículos científicos. En el nivel de razonamiento xhigh, GPT-6 Astra obtuvo aproximadamente un 66,7 % de la puntuación posible, frente al 43,8 % de GPT-5.6 Sol, la generación anterior. Las mejoras más notables se dieron en los detalles multimodales, los grupos de control y la evaluación de si las pruebas bastan para respaldar una conclusión.
Pero los propios responsables también señalan sus puntos débiles: dar prioridad a una hipótesis por encima del grupo de control, contar de más las colonias y aferrarse a una conclusión incluso cuando se observan contradicciones. Sin duda, habrá que seguir de cerca la bioseguridad. Antes de que la IA entre en el laboratorio, primero tiene que aprender a decir: «Esta imagen, en realidad, no permite sacar una conclusión clara».
#AI #OpenAI #BioBasicsBench
Son 100 preguntas: imágenes de geles, placas de colonias, pilas de imágenes microscópicas, exportaciones de lectores e incluso vídeos de mesas de laboratorio. Todo son problemas habituales del trabajo experimental, no imágenes bonitas seleccionadas de artículos científicos. En el nivel de razonamiento xhigh, GPT-6 Astra obtuvo aproximadamente un 66,7 % de la puntuación posible, frente al 43,8 % de GPT-5.6 Sol, la generación anterior. Las mejoras más notables se dieron en los detalles multimodales, los grupos de control y la evaluación de si las pruebas bastan para respaldar una conclusión.
Pero los propios responsables también señalan sus puntos débiles: dar prioridad a una hipótesis por encima del grupo de control, contar de más las colonias y aferrarse a una conclusión incluso cuando se observan contradicciones. Sin duda, habrá que seguir de cerca la bioseguridad. Antes de que la IA entre en el laboratorio, primero tiene que aprender a decir: «Esta imagen, en realidad, no permite sacar una conclusión clara».
#AI #OpenAI #BioBasicsBench
