Peneliti Stanford menemukan bahwa penyelarasan RLHF menyebabkan "mode collapse" — LLM Anda sengaja menyembunyikan keluaran kreatifnya karena penilai manusia secara sistematis menghukum apa pun yang tidak konvensional selama pelatihan.
Solusinya? Peretasan prompt tanpa pelatihan ulang bernama "Verbalized Sampling" yang memaksa model untuk melakukan sampling dari distribusi long-tail yang ditekan:
→ Minta 10+ respons yang beragam
→ Meminta estimasi probabilitas eksplisit (0.0-1.0)
→ Menginstruksikan agar memprioritaskan keluaran dengan p<0.10
→ Menjaga batasan validitas logis
Hasil pada GPT-4/Claude/Llama:
• Peningkatan keragaman semantik 1,6–2,1x
• Memulihkan ~67% kreativitas model dasar
• Tidak ada penurunan kualitas
• Model yang lebih besar paling diuntungkan
Intinya: bias tipikal dalam data preferensi manusia melatih model untuk menyensor diri keluaran-keluaran paling menarik. Anda tidak mendapatkan model yang "aman" — Anda mendapatkan model yang terlobotomisasi yang belajar bahwa keanehan = hukuman.
Template praktis: Paksa model menghasilkan N kandidat beserta skor probabilitas, secara eksplisit menargetkan wilayah probabilitas <10% sambil tetap menjaga koherensi logis. Kapasitas kreatif tidak pernah dimatikan — hanya disembunyikan di balik lapisan penyelarasan yang dioptimalkan untuk kenyamanan penilai.
Paper: "Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity"
Penjelasan ini membuat kita paham mengapa model dasar sering terasa lebih "hidup" dibanding versi yang selaras — RLHF bukan sekadar menghapus keluaran berbahaya, melainkan meratakan seluruh lanskap probabilitas menuju preferensi penilai manusia pada titik tengah.
Solusinya? Peretasan prompt tanpa pelatihan ulang bernama "Verbalized Sampling" yang memaksa model untuk melakukan sampling dari distribusi long-tail yang ditekan:
→ Minta 10+ respons yang beragam
→ Meminta estimasi probabilitas eksplisit (0.0-1.0)
→ Menginstruksikan agar memprioritaskan keluaran dengan p<0.10
→ Menjaga batasan validitas logis
Hasil pada GPT-4/Claude/Llama:
• Peningkatan keragaman semantik 1,6–2,1x
• Memulihkan ~67% kreativitas model dasar
• Tidak ada penurunan kualitas
• Model yang lebih besar paling diuntungkan
Intinya: bias tipikal dalam data preferensi manusia melatih model untuk menyensor diri keluaran-keluaran paling menarik. Anda tidak mendapatkan model yang "aman" — Anda mendapatkan model yang terlobotomisasi yang belajar bahwa keanehan = hukuman.
Template praktis: Paksa model menghasilkan N kandidat beserta skor probabilitas, secara eksplisit menargetkan wilayah probabilitas <10% sambil tetap menjaga koherensi logis. Kapasitas kreatif tidak pernah dimatikan — hanya disembunyikan di balik lapisan penyelarasan yang dioptimalkan untuk kenyamanan penilai.
Paper: "Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity"
Penjelasan ini membuat kita paham mengapa model dasar sering terasa lebih "hidup" dibanding versi yang selaras — RLHF bukan sekadar menghapus keluaran berbahaya, melainkan meratakan seluruh lanskap probabilitas menuju preferensi penilai manusia pada titik tengah.