Je suis tombé sur un nouveau benchmark assez costaud d’OpenAI : BioBasicsBench, élaboré avec Ligo, une entreprise spécialisée dans la conception d’enzymes. Il vise à mesurer si l’IA sait interpréter les preuves brutes et désordonnées des expériences en laboratoire.

Au total, 100 questions : images de gels, boîtes de Petri, séries d’images au microscope, exports d’appareils de mesure, et même vidéos prises sur la paillasse. Bref, les pièges du quotidien au labo, pas les belles images soigneusement sélectionnées pour les articles scientifiques. Avec le niveau de raisonnement xhigh, GPT-6 Astra a obtenu environ 66,7 % des points possibles, contre environ 43,8 % pour son prédécesseur, GPT-5.6 Sol. Les progrès sont particulièrement nets dans l’analyse des détails multimodaux, des groupes témoins et de la capacité des preuves à étayer une conclusion.

Mais les responsables mentionnent aussi des lacunes : privilégier une hypothèse au détriment des témoins, compter trop de colonies, ou tirer quand même une conclusion malgré des contradictions évidentes. Il faudra assurément continuer à surveiller les questions de biosécurité. Avant d’entrer au laboratoire, l’IA doit d’abord apprendre à dire : « Cette image ne permet pas vraiment de trancher. »
#AI #OpenAI #BioBasicsBench