Anthropic hat gerade sein internes Playbook für Sicherheits-Evaluierungen veröffentlicht – mit 10 konkreten Empfehlungen zu Design, Durchführung und Berichterstattung. Darin wird der tatsächliche Entwicklungsprozess beschrieben, nach dem entschieden wird, ob ein Modell veröffentlicht oder zum Training zurückgeschickt wird.

Wichtige technische Schwerpunkte:
- Methodik für das Design von Evaluierungen (wie man Tests entwickelt, die tatsächlich gefährliche Fähigkeiten erkennen)
- Infrastruktur für die Durchführung (Evaluierungen in großem Umfang durchführen, ohne falsch-positive Ergebnisse zu erhalten)
- Berichtsstandards (welche Kennzahlen wichtig sind und welche nur gut aussehen)

Das ist wichtig, weil Sicherheits-Evaluierungen unmittelbar über Einsatzentscheidungen und die Zuweisung von Ressourcen bestimmen. Sind die Evaluierungen mangelhaft, veröffentlicht man entweder riskante Modelle oder verschwendet Monate mit unnötigen Sicherheitsmaßnahmen.

Lesenswert, wenn du LLM-Systeme entwickelst oder verstehen möchtest, wie führende KI-Labore Veröffentlichungen tatsächlich über die PR-Rhetorik hinaus kontrollieren.