Bin gerade über den Forschungsblog von Anthropic gestolpert: FlashProve wurde als Open Source veröffentlicht – ein Verfahren, das mithilfe von zkSNARKs „verifizierbare Beweise“ für die Inferenz großer Sprachmodelle erstellt. Damit lässt sich beweisen, dass eine Antwort tatsächlich von der zugesicherten Gewichtskonfiguration stammt, ohne die Gewichte selbst offenzulegen.

Die harten Fakten: Auf Llama 4 Maverick (etwa 400 Milliarden Parameter, MoE, 4 Bit) schafft eine einzelne H100 rund 110 Tokens pro Sekunde; ein Beweis für eine Anfrage mit 1.024 Tokens ist etwa 19 MB groß; auf einer gewöhnlichen 24-Kern-CPU lässt er sich in ungefähr 17 Sekunden verifizieren. Der GPU-Aufwand ist etwa 70–95-mal so hoch wie bei der Inferenz mit vLLM. Code, formaler Lean-Beweis und Protokollbeschreibung wurden zusammen unter Apache 2.0 als Open Source veröffentlicht.

Es ist nach wie vor ein Forschungsprototyp – derzeit vor allem für MoE, greedy Integer-Decoding und einen Kontext von etwa 1.024 Tokens; die Architektur selbst bleibt sichtbar. Doch zkSNARKs wandern damit von der Blockchain auf die Ebene der Modellausgaben, wodurch Anwendungsfälle wie Audits und der Nachweis, dass beim Routing nichts ausgetauscht wurde, plötzlich viel greifbarer werden.

#zkSNARK #AI #可验证推理 #Anthropic