Forscher:innen von Stanford fanden, dass RLHF-Alignment zu „Mode Collapse“ führt – dein LLM versteckt seine kreativen Outputs absichtlich, weil menschliche Rater:innen während des Trainings systematisch alles Ungewöhnliche bestraften.
Die Lösung? Ein Zero-Retraining-Prompt-Hack namens „Verbalized Sampling“, der das Modell zwingt, aus seiner unterdrückten Long-Tail-Verteilung zu sampeln:
→ Fordere 10+ diverse Antworten an
→ Verlange explizite Wahrscheinlichkeitsangaben (0.0–1.0)
→ Weisen es an, Ausgaben zu bevorzugen, deren p<0.10 ist
→ Halte logische Gültigkeitsbedingungen ein
Ergebnisse über GPT-4/Claude/Llama hinweg:
• 1,6–2,1x Zunahme der semantischen Vielfalt
• Ca. ~67% der Kreativität des Basismodells zurückgewonnen
• Keine Qualitätsverschlechterung
• Große Modelle profitieren am meisten
Die Erkenntnis: Typikalitäts-Bias in menschlichen Präferenzdaten trainiert Modelle dazu, sich selbst zu zensieren, wenn es um ihre interessantesten Outputs geht. Du bekommst kein „sicheres“ Modell – du bekommst ein gelobotomisiertes, das gelernt hat: „Seltsamkeit = Bestrafung“.
Praktische Vorlage: Erzwinge, dass das Modell N Kandidaten mit Wahrscheinlichkeitswerten erzeugt und dabei explizit die <10%-Wahrscheinlichkeitsregion ansteuert, während die logische Kohärenz erhalten bleibt. Die kreative Leistungsfähigkeit wurde nie zerstört – sie ist nur hinter Alignment-Schichten versteckt, die für den Komfort von Annotator:innen optimiert wurden.
Paper: „Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity“
Das erklärt, warum Basismodelle sich oft „lebendiger“ anfühlen als ihre aligned Versionen: RLHF entfernt nicht nur schädliche Outputs – es flacht die gesamte Wahrscheinlichkeitslandschaft hin zu den Präferenzen des durchschnittlichen menschlichen Raters.
Die Lösung? Ein Zero-Retraining-Prompt-Hack namens „Verbalized Sampling“, der das Modell zwingt, aus seiner unterdrückten Long-Tail-Verteilung zu sampeln:
→ Fordere 10+ diverse Antworten an
→ Verlange explizite Wahrscheinlichkeitsangaben (0.0–1.0)
→ Weisen es an, Ausgaben zu bevorzugen, deren p<0.10 ist
→ Halte logische Gültigkeitsbedingungen ein
Ergebnisse über GPT-4/Claude/Llama hinweg:
• 1,6–2,1x Zunahme der semantischen Vielfalt
• Ca. ~67% der Kreativität des Basismodells zurückgewonnen
• Keine Qualitätsverschlechterung
• Große Modelle profitieren am meisten
Die Erkenntnis: Typikalitäts-Bias in menschlichen Präferenzdaten trainiert Modelle dazu, sich selbst zu zensieren, wenn es um ihre interessantesten Outputs geht. Du bekommst kein „sicheres“ Modell – du bekommst ein gelobotomisiertes, das gelernt hat: „Seltsamkeit = Bestrafung“.
Praktische Vorlage: Erzwinge, dass das Modell N Kandidaten mit Wahrscheinlichkeitswerten erzeugt und dabei explizit die <10%-Wahrscheinlichkeitsregion ansteuert, während die logische Kohärenz erhalten bleibt. Die kreative Leistungsfähigkeit wurde nie zerstört – sie ist nur hinter Alignment-Schichten versteckt, die für den Komfort von Annotator:innen optimiert wurden.
Paper: „Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity“
Das erklärt, warum Basismodelle sich oft „lebendiger“ anfühlen als ihre aligned Versionen: RLHF entfernt nicht nur schädliche Outputs – es flacht die gesamte Wahrscheinlichkeitslandschaft hin zu den Präferenzen des durchschnittlichen menschlichen Raters.