Vừa thấy OpenAI tung ra một bộ benchmark khá nặng đô: BioBasicsBench — được thực hiện cùng công ty thiết kế enzyme Ligo, chuyên kiểm tra xem AI có đọc hiểu được những bằng chứng thô đủ loại trong «thí nghiệm ướt» hay không.

Bộ đề gồm 100 câu: ảnh gel, đĩa nuôi cấy khuẩn lạc, chuỗi ảnh kính hiển vi, dữ liệu xuất từ máy đọc, thậm chí cả video trên bàn thí nghiệm — toàn những tình huống thường gặp trong phòng thí nghiệm, chứ không phải các hình ảnh lung linh đã được chọn lọc trong bài báo khoa học. Ở chế độ suy luận xhigh, GPT-6 Astra đạt khoảng 66,7% số điểm tối đa, còn thế hệ trước GPT-5.6 Sol đạt khoảng 43,8%. Tiến bộ rõ nhất nằm ở các chi tiết đa phương thức, nhóm đối chứng và việc đánh giá bằng chứng có đủ sức củng cố kết luận hay không.

Nhưng phía OpenAI cũng chỉ ra những điểm yếu: đặt giả thuyết lên trên nhóm đối chứng, đếm thừa khuẩn lạc, thấy mâu thuẫn rõ ràng mà vẫn khăng khăng đưa ra kết luận. Sau này, chắc chắn vẫn cần theo dõi sát vấn đề an toàn sinh học. Muốn AI bước vào phòng thí nghiệm, trước hết nó phải học được rằng «bức ảnh này thực ra chưa đủ để kết luận».
#AI #OpenAI #BioBasicsBench