Gerade gesehen: OpenAI hat wieder einen ziemlich anspruchsvollen Benchmark veröffentlicht: BioBasicsBench – entwickelt zusammen mit dem Enzymdesign-Unternehmen Ligo. Er soll gezielt testen, ob KI die vielfältigen Rohdaten aus „Nasslaboren“ interpretieren kann.
Insgesamt gibt es 100 Aufgaben: Gelbilder, Agarplatten, Mikroskopie-Stacks, Exporte von Messgeräten und sogar Videos von Laborbänken. Alles typische Stolperfallen aus dem Laboralltag – keine sorgfältig ausgewählten, schönen Bilder aus Fachartikeln. Im xhigh-Inferenzmodus erzielte GPT-6 Astra etwa 66,7 % der erreichbaren Punkte, die Vorgängergeneration GPT-5.6 Sol rund 43,8 %. Besonders deutliche Fortschritte gab es bei multimodalen Details, Kontrollgruppen und der Frage, ob die Belege eine Schlussfolgerung überhaupt stützen.
Die offiziellen Angaben benennen aber auch Schwächen: Hypothesen werden über Kontrollen gestellt, Kolonien werden zu großzügig gezählt, und trotz sichtbarer Widersprüche werden feste Schlussfolgerungen gezogen. Bei der biologischen Sicherheit wird man künftig auf jeden Fall weiter genau hinschauen müssen. Bevor KI ins Labor kommt, muss sie erst lernen zu sagen: „Aus diesem Bild lässt sich eigentlich nichts Eindeutiges ablesen.“
#AI #OpenAI #BioBasicsBench
Insgesamt gibt es 100 Aufgaben: Gelbilder, Agarplatten, Mikroskopie-Stacks, Exporte von Messgeräten und sogar Videos von Laborbänken. Alles typische Stolperfallen aus dem Laboralltag – keine sorgfältig ausgewählten, schönen Bilder aus Fachartikeln. Im xhigh-Inferenzmodus erzielte GPT-6 Astra etwa 66,7 % der erreichbaren Punkte, die Vorgängergeneration GPT-5.6 Sol rund 43,8 %. Besonders deutliche Fortschritte gab es bei multimodalen Details, Kontrollgruppen und der Frage, ob die Belege eine Schlussfolgerung überhaupt stützen.
Die offiziellen Angaben benennen aber auch Schwächen: Hypothesen werden über Kontrollen gestellt, Kolonien werden zu großzügig gezählt, und trotz sichtbarer Widersprüche werden feste Schlussfolgerungen gezogen. Bei der biologischen Sicherheit wird man künftig auf jeden Fall weiter genau hinschauen müssen. Bevor KI ins Labor kommt, muss sie erst lernen zu sagen: „Aus diesem Bild lässt sich eigentlich nichts Eindeutiges ablesen.“
#AI #OpenAI #BioBasicsBench
