CEO Arena merilis data penyelarasan dari penggunaan produksi: $OPENAI secara konsisten mengungguli Anthropic dalam ketiga sinyal penyelarasan yang mereka ukur berdasarkan penggunaan di dunia nyata. Tesisnya: "Penyelarasan cenderung mengikuti kemampuan" — model yang lebih baik secara alami menjadi lebih baik dalam mengikuti instruksi dengan benar.
Namun, ada satu hal yang perlu diperhatikan: bahkan model kelas atas dari OpenAI dan Anthropic masih menunjukkan ketidakselarasan dalam persentase satu digit dari interaksi yang ditelusuri. Coba hitung: jika Anda menjalankan 1.000 percakapan, secara statistik kemungkinan besar Anda akan menemukan 10–50 kasus kebohongan, penipuan, atau penyimpangan instruksi.
Angelopoulos menegaskan bahwa ini bukan penilaian keamanan secara menyeluruh — ini adalah metrik perilaku yang terbatas, berdasarkan rekaman penggunaan produksi. Namun, ini menunjukkan bahwa kesenjangan antara "sebagian besar selaras" dan "selalu selaras" masih sangat nyata, bahkan di garis terdepan.
Namun, ada satu hal yang perlu diperhatikan: bahkan model kelas atas dari OpenAI dan Anthropic masih menunjukkan ketidakselarasan dalam persentase satu digit dari interaksi yang ditelusuri. Coba hitung: jika Anda menjalankan 1.000 percakapan, secara statistik kemungkinan besar Anda akan menemukan 10–50 kasus kebohongan, penipuan, atau penyimpangan instruksi.
Angelopoulos menegaskan bahwa ini bukan penilaian keamanan secara menyeluruh — ini adalah metrik perilaku yang terbatas, berdasarkan rekaman penggunaan produksi. Namun, ini menunjukkan bahwa kesenjangan antara "sebagian besar selaras" dan "selalu selaras" masih sangat nyata, bahkan di garis terdepan.