modeltransparency

Claude Fable 5 Tidak Diperlemah. Router Hanya Bersikap Paranoid.

Hasil benchmark untuk Claude Fable 5 menunjukkan hasil yang saling bertentangan—satu pengujian menilainya Lebih Rendah, sementara yang lain menunjukkan peningkatan. Perbedaannya bukan karena penurunan performa model, melainkan karena routing keselamatan yang agresif yang mengintersep kueri sebelum model memprosesnya. Peneliti di LMArena dan platform evaluasi lainnya melaporkan bahwa prompt yang identik bisa diblokir atau dijawab tergantung pada aturan routing.

Perilaku routing ini meniru pola penerapan AI perusahaan di mana pagar pengaman memblokir skenario penggunaan yang sah. Pengembang melaporkan benchmark serupa yang lolos ketika pertanyaannya menghindari frasa yang "berisiko". Model itu sendiri tetap tidak berubah; lapisan penjaga inilah yang melakukan penyaringan. Penerapan di skala perusahaan menghadapi masalah yang sama—kebijakan keselamatan menambah gesekan tanpa meningkatkan kualitas model.

Pengamat industri mencatat ini menciptakan narasi palsu bahwa model sedang "jadi lebih bodoh". Padahal, sistem keselamatan terpusat menambah ketidakpastian pada metrik performa. Alternatif yang terdesentralisasi akan menampilkan output mentah model untuk evaluasi yang transparan dan perbandingan yang adil antar penyedia.

Apakah routing keselamatan membantu atau justru menghambat kemajuan AI? Bisakah benchmark yang transparan mengungkap kebenarannya? 👇

#LLMBenchmarks #AISafety #ModelTransparency