Peter Gostev membandingkan Fable 5.2 dan Opus secara bergiliran dalam lebih dari 100 tugas generasi.
Laporan Crypto Briefing hanya menyebutkan nama kedua model, skala perbandingan, dan patokan “lebih dari 100 generasi”, tanpa mengungkapkan dimensi penilaian yang spesifik, jumlah kemenangan dan kekalahan, atau jenis tugas pengujian.
· Jika jumlah generasi dianggap sebagai ukuran sampel, yang bisa ditunjukkannya hanyalah jumlah pengujian, bukan kesimpulan kuantitatif tentang kemampuan model.
· Tanpa hasil untuk setiap butir, klaim tentang model mana yang lebih unggul hanya bisa dianggap sebagai pernyataan dari penyelenggara perbandingan ini, bukan sebagai kesimpulan.
Jika hanya ditunjukkan tingkat kemenangan keseluruhan, mana yang ingin Anda lihat terlebih dahulu: skor per butir atau sampel generasi mentah?
Laporan Crypto Briefing hanya menyebutkan nama kedua model, skala perbandingan, dan patokan “lebih dari 100 generasi”, tanpa mengungkapkan dimensi penilaian yang spesifik, jumlah kemenangan dan kekalahan, atau jenis tugas pengujian.
· Jika jumlah generasi dianggap sebagai ukuran sampel, yang bisa ditunjukkannya hanyalah jumlah pengujian, bukan kesimpulan kuantitatif tentang kemampuan model.
· Tanpa hasil untuk setiap butir, klaim tentang model mana yang lebih unggul hanya bisa dianggap sebagai pernyataan dari penyelenggara perbandingan ini, bukan sebagai kesimpulan.
Jika hanya ditunjukkan tingkat kemenangan keseluruhan, mana yang ingin Anda lihat terlebih dahulu: skor per butir atau sampel generasi mentah?
