Benchmark Model Tidak Ada Gunanya
Bagaimana sebuah model bisa mendapat skor 24% dan 59% pada 113 tugas pemrograman yang sama?
Itu terjadi saat Anda mengubah harness yang membungkusnya.
Belakangan ini, saya semakin mengabaikan sebagian besar hasil papan peringkat model. Sebagian karena jenuh, dan sebagian lagi karena peningkatan peringkat tidak terlihat dalam pekerjaan nyata.
Jadi, saya meminta tim 8090 Labs mengukur hal yang luput dari papan peringkat: model dan harness secara bersamaan, pada perbaikan bug dan fitur nyata dari proyek sumber terbuka.
8090 Labs menguji 7 model dengan 5 harness.
Berikut beberapa hasil yang tidak saya duga:
- Claude Fable 5.1 dari Anthropic mendapat skor 41% di Claude Code dan 61% di Codex dari OpenAI. Median jumlah panggilan alatnya adalah 28 di satu harness dan 66 di harness lainnya.
- Pengujian dengan biaya terendah bukan berarti pekerjaan termurah. GLM di Codex menghabiskan $0.22 per pengujian dan $0.93 per keberhasilan. Di Pi, biayanya $0.25 per pengujian dan $0.43 per keberhasilan.
- GLM berhasil menyelesaikan sebuah tugas dalam kedua percobaan sebanyak 51 kali di satu harness dan 16 kali di harness lainnya.
- GPT-5.6 Sol dan Grok 4.6 hampir tidak terpengaruh oleh harness yang digunakan.
Intinya, jika Anda memilih kombinasi model dan harness berdasarkan papan peringkat yang hanya menilai model, Anda membuat keputusan penting hanya berdasarkan separuh informasi.
https://www.8090.ai/blog/same-model-different-harness?dub_id=5Ux9L6PBuBjhKzi7
Bagaimana sebuah model bisa mendapat skor 24% dan 59% pada 113 tugas pemrograman yang sama?
Itu terjadi saat Anda mengubah harness yang membungkusnya.
Belakangan ini, saya semakin mengabaikan sebagian besar hasil papan peringkat model. Sebagian karena jenuh, dan sebagian lagi karena peningkatan peringkat tidak terlihat dalam pekerjaan nyata.
Jadi, saya meminta tim 8090 Labs mengukur hal yang luput dari papan peringkat: model dan harness secara bersamaan, pada perbaikan bug dan fitur nyata dari proyek sumber terbuka.
8090 Labs menguji 7 model dengan 5 harness.
Berikut beberapa hasil yang tidak saya duga:
- Claude Fable 5.1 dari Anthropic mendapat skor 41% di Claude Code dan 61% di Codex dari OpenAI. Median jumlah panggilan alatnya adalah 28 di satu harness dan 66 di harness lainnya.
- Pengujian dengan biaya terendah bukan berarti pekerjaan termurah. GLM di Codex menghabiskan $0.22 per pengujian dan $0.93 per keberhasilan. Di Pi, biayanya $0.25 per pengujian dan $0.43 per keberhasilan.
- GLM berhasil menyelesaikan sebuah tugas dalam kedua percobaan sebanyak 51 kali di satu harness dan 16 kali di harness lainnya.
- GPT-5.6 Sol dan Grok 4.6 hampir tidak terpengaruh oleh harness yang digunakan.
Intinya, jika Anda memilih kombinasi model dan harness berdasarkan papan peringkat yang hanya menilai model, Anda membuat keputusan penting hanya berdasarkan separuh informasi.
https://www.8090.ai/blog/same-model-different-harness?dub_id=5Ux9L6PBuBjhKzi7