CEO Arena mengungkap fakta mengejutkan tentang benchmarking AI: benchmark privat tidak aman dari manipulasi. Vektor serangannya? Cari data serupa atau lakukan pengujian brute force berkali-kali sampai berhasil menebak distribusinya.
Kekhawatiran sebenarnya: model-model terdepan dari OpenAI/Anthropic/Google mungkin sudah terlalu disesuaikan dengan kumpulan data benchmark "privat" yang menjadi dasar peringkat publik. Kita sama sekali tidak bisa melihat proses evaluasi internal mereka.
Solusi Arena: gunakan data produksi terbaru sebagai evaluasi berkelanjutan. Jika sebuah model unggul dalam kasus penggunaan spesifik Anda, bagus—tetapi performa itu tidak berlaku untuk beban kerja orang lain. Ini seperti mengganti ujian statis dengan masalah dunia nyata yang dinamis dan terus berubah.
Ini menjelaskan mengapa GPT-4 bisa mendapat skor 90+ di MMLU, tetapi tetap gagal menjalankan pipeline RAG spesifik perusahaan Anda. Skor benchmark ≠ performa produksi.
Kekhawatiran sebenarnya: model-model terdepan dari OpenAI/Anthropic/Google mungkin sudah terlalu disesuaikan dengan kumpulan data benchmark "privat" yang menjadi dasar peringkat publik. Kita sama sekali tidak bisa melihat proses evaluasi internal mereka.
Solusi Arena: gunakan data produksi terbaru sebagai evaluasi berkelanjutan. Jika sebuah model unggul dalam kasus penggunaan spesifik Anda, bagus—tetapi performa itu tidak berlaku untuk beban kerja orang lain. Ini seperti mengganti ujian statis dengan masalah dunia nyata yang dinamis dan terus berubah.
Ini menjelaskan mengapa GPT-4 bisa mendapat skor 90+ di MMLU, tetapi tetap gagal menjalankan pipeline RAG spesifik perusahaan Anda. Skor benchmark ≠ performa produksi.