OpenAI et Ligo, une jeune entreprise de biotechnologie qui conçoit des enzymes, ont créé un test en 100 volets pour déterminer si l’IA peut gérer le travail désordonné en laboratoire de biologie au lieu de simplement donner l’impression de maîtriser les sciences.
Points clés
OpenAI a présenté BioBasicsBench, un benchmark de laboratoire humide composé de 100 tâches, conçu avec Ligo pour vérifier si les agents d’IA peuvent interpréter des données biologiques brutes
BioBasicsBench se concentre sur les travaux courants en laboratoire humide plutôt que sur des annonces spectaculaires de découvertes
Les 100 tâches s’appuient sur des données expérimentales brutes et des analyses pratiques en laboratoire afin de reproduire les dossiers désordonnés auxquels les biologistes sont confrontés dans leur travail quotidien
OpenAI a annoncé le lancement sur X, et l’entreprise a déclaré que BioBasicsBench se concentrait sur « la science quotidienne en laboratoire » plutôt que sur des promesses sensationnelles de découvertes. OpenAI développe de grands modèles d’IA et des outils associés, tandis que Ligo travaille à la conception d’enzymes pour la biotechnologie.
Le benchmark des manipulations en laboratoire va au-delà des démonstrations scientifiques
Cela comprend la lecture des résultats d’essais, le traitement de mesures bruitées, la mise en correspondance des résultats avec les protocoles et l’interprétation d’un résultat avant de passer à l’étape suivante.
C’est important, car la plupart des promesses de l’IA en biotechnologie reposent encore sur des tâches de conception, comme générer des protéines ou proposer des molécules. BioBasicsBench déplace l’évaluation vers les compétences opérationnelles : un agent doit interpréter ce qui s’est passé pendant une expérience plutôt que rédiger un plan plausible.
OpenAI a indiqué que les 100 tâches s’appuient sur des données expérimentales brutes et des analyses pratiques en laboratoire.
Le benchmark se rapproche ainsi des données désordonnées auxquelles les biologistes sont confrontés dans leur travail quotidien, où un modèle ne peut pas s’appuyer sur des données d’entrée soigneusement préparées, comme dans un manuel.
Des promesses sur la conception de médicaments au travail en laboratoire
Vendredi, OpenAI a intensifié ses efforts en matière de sécurité et d’évaluation appliquée. Ce benchmark de laboratoire fait suite à un autre partenariat de l’entreprise, conclu vendredi matin avec Hacktron, qui portait lui aussi sur la mesure du comportement réel des agents plutôt que sur des démonstrations léchées.
Cette annonce s’inscrit dans une évolution plus générale de l’IA en biologie.
Depuis deux ans, les laboratoires montrent que les modèles peuvent proposer des séquences, résumer des articles ou classer des candidats. Bien moins de tests publics vérifient si un agent peut lire une courbe de fluorescence, repérer la défaillance d’un témoin ou comparer un lot d’échantillons à un autre sans produire d’absurdités avec assurance.
À lire également : SpecterOps propose des tests de piratage payants pour GPT-6 Cyber
Un benchmark ne prouve pas qu’un modèle est prêt à être utilisé dans un laboratoire soumis à une réglementation.
Il établit toutefois un référentiel commun. Les équipes de biotechnologie peuvent ainsi comparer les systèmes sur des analyses courantes qui occupent une grande partie du temps réellement consacré au laboratoire.
Le benchmark de laboratoire obligera à formuler des promesses plus précises
L’effet immédiat concerne la manière dont les produits d’IA appliquée à la biologie sont commercialisés.
Les entreprises peuvent affirmer qu’un modèle aide les biologistes, mais BioBasicsBench les incite à démontrer si cette aide s’étend à l’interprétation de véritables expériences.
Pour les jeunes entreprises qui vendent des outils agentiques aux équipes pharmaceutiques ou de biologie synthétique, ce type de benchmark de laboratoire pourrait compter davantage qu’un test de raisonnement supplémentaire. Un score élevé indiquerait qu’un agent peut prendre en charge des tâches analytiques répétitives.
Un score faible montrerait que le système échoue encore lorsque les données sont désordonnées.
Il faudra maintenant voir si OpenAI, Ligo ou d’autres groupes d’IA appliquée à la biotechnologie publient les résultats pour chaque modèle et si les clients commencent à demander les scores aux benchmarks lors des négociations d’achat.
Comment BioBasicsBench reflète les difficultés concrètes du laboratoire
BioBasicsBench n’est pas un benchmark portant sur l’invention d’un nouveau médicament. OpenAI a déclaré que les tâches se concentraient sur des analyses courantes, ce qui signifie que l’agent reçoit le type de données imparfaites auquel un scientifique en activité est confronté après une expérience.
En pratique, il peut s’agir de relevés bruts, de témoins dont le comportement n’est pas net ou de mesures qu’il faut interpréter avant de décider de la suite.
Pour Ligo et les autres acteurs de la biotechnologie, c’est un test plus exigeant que les démonstrations spectaculaires. De nombreux modèles biologiques semblent performants lorsque la question est soigneusement formulée et n’appelle qu’une réponse claire.
Le vrai travail en laboratoire, c’est différent.
Un chercheur doit souvent décider si un signal est du bruit, si un échantillon est comparable à un autre ou si le protocole a probablement échoué. Si BioBasicsBench est largement adopté, les acheteurs des entreprises pharmaceutiques et de biologie synthétique pourront vérifier si une IA écrit bien et si elle sait effectuer des manipulations en laboratoire et interpréter des expériences comme le ferait un jeune scientifique prudent.
À lire ensuite : l’UE passe les laboratoires d’IA au grill après la fuite d’agents d’OpenAI qui ont piraté une entreprise