Baru saja melihat OpenAI merilis benchmark yang cukup serius: BioBasicsBench—dibuat bersama perusahaan desain enzim Ligo, khusus untuk menguji apakah AI bisa membaca bukti mentah yang berantakan dari «eksperimen basah».
Ada 100 soal: gambar gel, cawan koloni, tumpukan gambar mikroskop, hasil ekspor alat pembaca, bahkan video meja lab. Semuanya berisi hal-hal yang sering jadi jebakan dalam eksperimen sehari-hari, bukan gambar indah yang sudah dipilih-pilih untuk makalah. Pada tingkat penalaran xhigh, GPT-6 Astra meraih sekitar 66.7% dari total poin yang tersedia, sementara generasi sebelumnya, GPT-5.6 Sol, meraih sekitar 43.8%. Peningkatan paling terlihat ada pada detail multimodal, kelompok kontrol, dan penilaian apakah bukti yang ada cukup untuk mendukung kesimpulan.
Namun, pihak resmi juga mencatat sejumlah kelemahan: hipotesis bisa mengalahkan kelompok kontrol, jumlah koloni bisa dihitung berlebihan, dan AI tetap memaksakan kesimpulan meski sudah melihat kontradiksi. Aspek keamanan hayati tentu masih perlu terus diawasi. Sebelum AI masuk ke laboratorium, ia harus belajar dulu mengatakan, «gambar ini sebenarnya tidak cukup jelas untuk menyimpulkan apa pun».
#AI #OpenAI #BioBasicsBench
Ada 100 soal: gambar gel, cawan koloni, tumpukan gambar mikroskop, hasil ekspor alat pembaca, bahkan video meja lab. Semuanya berisi hal-hal yang sering jadi jebakan dalam eksperimen sehari-hari, bukan gambar indah yang sudah dipilih-pilih untuk makalah. Pada tingkat penalaran xhigh, GPT-6 Astra meraih sekitar 66.7% dari total poin yang tersedia, sementara generasi sebelumnya, GPT-5.6 Sol, meraih sekitar 43.8%. Peningkatan paling terlihat ada pada detail multimodal, kelompok kontrol, dan penilaian apakah bukti yang ada cukup untuk mendukung kesimpulan.
Namun, pihak resmi juga mencatat sejumlah kelemahan: hipotesis bisa mengalahkan kelompok kontrol, jumlah koloni bisa dihitung berlebihan, dan AI tetap memaksakan kesimpulan meski sudah melihat kontradiksi. Aspek keamanan hayati tentu masih perlu terus diawasi. Sebelum AI masuk ke laboratorium, ia harus belajar dulu mengatakan, «gambar ini sebenarnya tidak cukup jelas untuk menyimpulkan apa pun».
#AI #OpenAI #BioBasicsBench
