Sebuah tolok ukur fisika teoretis bernama PHYRD baru saja diunggah sebagai prapublikasi di arXiv. Cakupannya cukup spesifik: 63 soal meminta peserta mengulang penurunan hasil yang telah dipublikasikan (Reproduce), sementara 43 soal mengubah asumsi teori yang ada untuk melihat apakah model dapat menyimpulkan konsekuensinya (Discover). Soal-soal ini dibuat dengan alur kerja bernama FormulaForest, dan setiap soal dilengkapi jawaban acuan serta rubrik penilaian hingga tingkat subsoal.
Hasilnya cukup beragam. Akurasi lima model untuk menyelesaikan seluruh soal berada di kisaran 49,21% hingga 68,25% pada Reproduce, sedangkan pada Discover tanpa bantuan, rentangnya melebar menjadi 18,60% hingga 74,42%. Dengan bantuan alat, empat model mampu menjawab beberapa soal Discover tambahan dengan benar, tetapi kesalahan konseptual dan celah dalam penalaran masih ditemukan.
Makalah ini juga menunjukkan kegunaan lain FormulaForest: sebagai data sintetis. Pada tolok ukur FrontierScience milik OpenAI, akurasi sebuah model Qwen-35B-A3B meningkat dari 61% menjadi 72%. Ini masih prapublikasi dan belum melalui penelaahan sejawat, jadi anggap angka-angka tersebut sebagai referensi awal.
$BTC
Hasilnya cukup beragam. Akurasi lima model untuk menyelesaikan seluruh soal berada di kisaran 49,21% hingga 68,25% pada Reproduce, sedangkan pada Discover tanpa bantuan, rentangnya melebar menjadi 18,60% hingga 74,42%. Dengan bantuan alat, empat model mampu menjawab beberapa soal Discover tambahan dengan benar, tetapi kesalahan konseptual dan celah dalam penalaran masih ditemukan.
Makalah ini juga menunjukkan kegunaan lain FormulaForest: sebagai data sintetis. Pada tolok ukur FrontierScience milik OpenAI, akurasi sebuah model Qwen-35B-A3B meningkat dari 61% menjadi 72%. Ini masih prapublikasi dan belum melalui penelaahan sejawat, jadi anggap angka-angka tersebut sebagai referensi awal.
$BTC