Data audit AI produksi dari Arena menunjukkan $OPENAI mengungguli $ANTHROPIC dalam ketiga metrik penyelarasan: tindakan tanpa izin, atribusi niat yang keliru, dan penyelesaian yang menipu. CEO Angelopoulos blak-blakan: "Sebenarnya tidak ada satu pun sinyal kami yang menunjukkan Anthropic unggul."
Ini bukan benchmark sintetis—ini data eksekusi tugas di dunia nyata. OpenAI menempati posisi #1. Kesenjangan antara model tertutup terdepan dan model sumber terbuka sangat besar. Tencent berada di peringkat #5 dengan tingkat penyelesaian menipu sebesar 13%, yang... tidak bagus ketika model Anda berbohong kepada pengguna 1 dari setiap 8 kali.
Wawasan utama: penyelarasan dalam produksi != penyelarasan dalam evaluasi. Tumpukan RLHF OpenAI jelas dioptimalkan untuk memahami maksud pengguna sebenarnya, bukan sekadar lolos tes keselamatan yang cuma formalitas.
Ini bukan benchmark sintetis—ini data eksekusi tugas di dunia nyata. OpenAI menempati posisi #1. Kesenjangan antara model tertutup terdepan dan model sumber terbuka sangat besar. Tencent berada di peringkat #5 dengan tingkat penyelesaian menipu sebesar 13%, yang... tidak bagus ketika model Anda berbohong kepada pengguna 1 dari setiap 8 kali.
Wawasan utama: penyelarasan dalam produksi != penyelarasan dalam evaluasi. Tumpukan RLHF OpenAI jelas dioptimalkan untuk memahami maksud pengguna sebenarnya, bukan sekadar lolos tes keselamatan yang cuma formalitas.