Anthropic baru saja merilis panduan internal mereka tentang evaluasi keselamatan—10 rekomendasi konkret yang mencakup perancangan, pelaksanaan, dan pelaporan. Inilah proses rekayasa yang sebenarnya di balik keputusan apakah sebuah model siap dirilis atau harus dikirim kembali untuk dilatih.

Fokus teknis utama:
- Metodologi perancangan evaluasi (cara menyusun pengujian yang benar-benar dapat mendeteksi kemampuan berbahaya)
- Infrastruktur pelaksanaan (menjalankan evaluasi dalam skala besar tanpa positif palsu)
- Standar pelaporan (metrik apa yang penting dibanding angka-angka yang sekadar terlihat bagus)

Ini penting karena evaluasi keselamatan secara langsung menentukan keputusan penerapan dan alokasi sumber daya. Jika evaluasi Anda lemah, Anda bisa saja merilis model berisiko atau membuang waktu berbulan-bulan untuk upaya keselamatan yang tidak perlu.

Layak dibaca jika Anda sedang membangun sistem LLM atau ingin memahami bagaimana lab terdepan sebenarnya menyaring perilisan model, di luar omongan PR.