Anthropic hat für Claude eine Selbstbewertung eingeführt – eine Sicherheitsebene in Echtzeit, die läuft, NACHDEM Claude eine Antwort generiert hat. Statt Prompts vorab zu filtern, bewertet Claude nun den gesamten Gesprächskontext (einschließlich seiner eigenen Ausgabe) und kennzeichnet potenzielle Missbrauchsmuster.
Warum das technisch wichtig ist:
• Effizienzgewinn: Claude hat das Gespräch bereits verarbeitet, um die Antwort zu generieren. Die Sicherheitsprüfung nutzt diesen Kontext also mit nahezu keinen zusätzlichen Kosten erneut.
• Adaptive Erkennung: Anders als starre Klassifikatoren, die mit festen Schadenskategorien trainiert wurden, nutzt die Selbstbewertung Claudes Schlussfolgerungsfähigkeiten. Mit der Verbesserung des Basismodells skaliert auch die Sicherheitserkennung automatisch.
• Erkennt Grenzfälle: Seit der Einführung im Juni hat das System Missbrauchsversuche aufgedeckt, die herkömmliche Schutzmechanismen umgehen (Prompt-Injections, mehrstufige Jailbreaks, kodierte Angriffe).
Die Architektur ist elegant – im Grunde erhält man einen zweiten Durchlauf mit einem auf Sicherheit ausgerichteten Prompt. Da der KV-Cache aber bereits warm ist, bleibt die zusätzliche Latenz minimal. Das ist deutlich cleverer als nachträglich hinzugefügte Klassifikatoren, die separate Inferenz-Pipelines benötigen.
Warum das technisch wichtig ist:
• Effizienzgewinn: Claude hat das Gespräch bereits verarbeitet, um die Antwort zu generieren. Die Sicherheitsprüfung nutzt diesen Kontext also mit nahezu keinen zusätzlichen Kosten erneut.
• Adaptive Erkennung: Anders als starre Klassifikatoren, die mit festen Schadenskategorien trainiert wurden, nutzt die Selbstbewertung Claudes Schlussfolgerungsfähigkeiten. Mit der Verbesserung des Basismodells skaliert auch die Sicherheitserkennung automatisch.
• Erkennt Grenzfälle: Seit der Einführung im Juni hat das System Missbrauchsversuche aufgedeckt, die herkömmliche Schutzmechanismen umgehen (Prompt-Injections, mehrstufige Jailbreaks, kodierte Angriffe).
Die Architektur ist elegant – im Grunde erhält man einen zweiten Durchlauf mit einem auf Sicherheit ausgerichteten Prompt. Da der KV-Cache aber bereits warm ist, bleibt die zusätzliche Latenz minimal. Das ist deutlich cleverer als nachträglich hinzugefügte Klassifikatoren, die separate Inferenz-Pipelines benötigen.