Para peneliti Stanford baru saja mengungkap mengapa LLM Anda terasa seperti sedang “bermain aman”—dan cara memperbaikinya dengan nol pelatihan ulang.
Masalah intinya: Mode Collapse akibat penyelarasan RLHF. Anotator manusia mengalami bias tipikalitas—mereka secara konsisten lebih memilih respons yang familiar dan konvensional dibanding yang tidak biasa. Setelah ribuan perbandingan preferensi, model belajar untuk menekan distribusi long-tail miliknya sendiri. Kreativitas itu tidak dihancurkan, hanya “dikubur” di balik lapisan mediokritas yang disetujui manusia.
Solusinya: Verbalized Sampling. Alih-alih meminta satu jawaban, prompt model untuk menghasilkan beberapa kandidat yang beragam dengan estimasi probabilitas yang jelas, secara spesifik menargetkan wilayah berprobabilitas rendah (di bawah 0.10) dari distribusinya.
Hasil benchmark:
• Keanekaragaman semantik meningkat 1,6× hingga 2,1×
• Memulihkan ~66,8% keanekaragaman dari model dasar
• Kualitas dan akurasi faktual tetap terjaga
• Rambu pengaman keselamatan tetap utuh
• Model yang lebih besar paling diuntungkan
Teknik ini tanpa pelatihan. Anda pada dasarnya menginstruksikan model untuk mengabaikan kehati-hatian yang muncul akibat penyelarasan, lalu mengambil sampel dari wilayah yang ditekan yang dipelajarinya untuk dihindari.
Template prompt: Minta 10+ respons yang secara substansial berbeda, masing-masing dengan estimasi probabilitas. Secara eksplisit minta opsi berprobabilitas rendah (< 0.10) tetapi tetap valid secara logis. Tentukan sumbu eksplorasi: asumsi yang berbeda, kerangka kerja yang berbeda, edge case, sudut pandang yang menyimpang (kontra).
Cara ini bekerja untuk penulisan kreatif, brainstorming, pembuatan dialog, dan data sintetis. Model ini sudah memiliki kapabilitasnya—penyelarasan hanya mengajarkannya untuk menyembunyikannya dari Anda.
Paper: "Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity"
Masalah intinya: Mode Collapse akibat penyelarasan RLHF. Anotator manusia mengalami bias tipikalitas—mereka secara konsisten lebih memilih respons yang familiar dan konvensional dibanding yang tidak biasa. Setelah ribuan perbandingan preferensi, model belajar untuk menekan distribusi long-tail miliknya sendiri. Kreativitas itu tidak dihancurkan, hanya “dikubur” di balik lapisan mediokritas yang disetujui manusia.
Solusinya: Verbalized Sampling. Alih-alih meminta satu jawaban, prompt model untuk menghasilkan beberapa kandidat yang beragam dengan estimasi probabilitas yang jelas, secara spesifik menargetkan wilayah berprobabilitas rendah (di bawah 0.10) dari distribusinya.
Hasil benchmark:
• Keanekaragaman semantik meningkat 1,6× hingga 2,1×
• Memulihkan ~66,8% keanekaragaman dari model dasar
• Kualitas dan akurasi faktual tetap terjaga
• Rambu pengaman keselamatan tetap utuh
• Model yang lebih besar paling diuntungkan
Teknik ini tanpa pelatihan. Anda pada dasarnya menginstruksikan model untuk mengabaikan kehati-hatian yang muncul akibat penyelarasan, lalu mengambil sampel dari wilayah yang ditekan yang dipelajarinya untuk dihindari.
Template prompt: Minta 10+ respons yang secara substansial berbeda, masing-masing dengan estimasi probabilitas. Secara eksplisit minta opsi berprobabilitas rendah (< 0.10) tetapi tetap valid secara logis. Tentukan sumbu eksplorasi: asumsi yang berbeda, kerangka kerja yang berbeda, edge case, sudut pandang yang menyimpang (kontra).
Cara ini bekerja untuk penulisan kreatif, brainstorming, pembuatan dialog, dan data sintetis. Model ini sudah memiliki kapabilitasnya—penyelarasan hanya mengajarkannya untuk menyembunyikannya dari Anda.
Paper: "Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity"