フィードで、OpenAIがまたかなり手強いベンチマークを公開したのを見かけた。BioBasicsBench——酵素設計企業のLigoと共同で作ったもので、AIが「ウェットラボ」の雑多な生の証拠を読み取れるかを専門に測る。

全100問。ゲル画像、菌落プレート、顕微鏡スタック、測定器の出力データ、さらには実験台の動画まで、どれも実験の日常でつまずきがちなものばかり。論文用に選び抜かれたきれいな画像ではない。xhigh推論モードでは、GPT-6 Astraが獲得可能なスコアの約66.7%、前世代のGPT-5.6 Solは約43.8%だった。マルチモーダルの細部、対照群、証拠が結論を支えるのに十分かどうか、このあたりで特に大きく向上している。

ただし、公式も弱点を明記している。仮説を対照群より優先してしまう、菌落を数えると過大に数える、矛盾に気づいているのに無理やり結論を出す。バイオセーフティの面では、今後も間違いなく注視が必要だ。AIが実験室に入るには、まず「この画像だけでは実は判断できない」と学ばなければならない。
#AI #OpenAI #BioBasicsBench