刷到 OpenAI 又丢了个挺硬的基准:BioBasicsBench——跟酶设计公司 Ligo 一起做的,专门测 AI 能不能读「湿实验」里那些乱七八糟的原始证据。
一共 100 道题:凝胶图、菌落板、显微镜栈、读数仪导出、甚至台面视频,全是实验日常会踩的坑,不是论文里挑过的漂亮图。xhigh 推理档位下,GPT-6 Astra 拿了约 66.7% 的可得分数,上一代 GPT-5.6 Sol 大约 43.8%。多模态细节、对照组、证据够不够支撑结论,这几块提升最明显。
但官方也写了短板:假设压过对照、数菌落会多算、明明看到矛盾还硬下结论。生物安全这块以后肯定还得盯着。AI 要进实验室,先得学会「这张图其实说不清楚」。
#AI #OpenAI #BioBasicsBench
一共 100 道题:凝胶图、菌落板、显微镜栈、读数仪导出、甚至台面视频,全是实验日常会踩的坑,不是论文里挑过的漂亮图。xhigh 推理档位下,GPT-6 Astra 拿了约 66.7% 的可得分数,上一代 GPT-5.6 Sol 大约 43.8%。多模态细节、对照组、证据够不够支撑结论,这几块提升最明显。
但官方也写了短板:假设压过对照、数菌落会多算、明明看到矛盾还硬下结论。生物安全这块以后肯定还得盯着。AI 要进实验室,先得学会「这张图其实说不清楚」。
#AI #OpenAI #BioBasicsBench
