Наткнулся на исследовательский блог Anthropic: компания открыла FlashProve — способ с помощью zkSNARK создавать «проверяемое доказательство» для вывода большой языковой модели. Оно подтверждает, что этот ответ действительно получен с использованием заранее зафиксированного набора весов, не раскрывая сами веса.
Главные цифры: на Llama 4 Maverick (около 400 млрд параметров, MoE, 4-битная модель) одна H100 генерирует доказательство примерно со скоростью 110 токенов/с; доказательство для запроса на 1024 токена занимает около 19 МБ; обычный 24-ядерный CPU может проверить его примерно за 17 секунд; накладные расходы на GPU примерно в 70–95 раз выше, чем при инференсе через vLLM. Код, формальные доказательства на Lean и описание протокола опубликованы под лицензией Apache 2.0.
Пока это исследовательский прототип: сейчас поддерживаются в основном MoE-модели, жадное целочисленное декодирование и контекст примерно на 1024 токена; сама архитектура не скрывается. Но перенос zk из блокчейна на уровень ответов моделей внезапно делает гораздо реальнее такие сценарии, как аудит и защита маршрутизации от подмены модели.
#zkSNARK #AI #可验证推理 #Anthropic
Главные цифры: на Llama 4 Maverick (около 400 млрд параметров, MoE, 4-битная модель) одна H100 генерирует доказательство примерно со скоростью 110 токенов/с; доказательство для запроса на 1024 токена занимает около 19 МБ; обычный 24-ядерный CPU может проверить его примерно за 17 секунд; накладные расходы на GPU примерно в 70–95 раз выше, чем при инференсе через vLLM. Код, формальные доказательства на Lean и описание протокола опубликованы под лицензией Apache 2.0.
Пока это исследовательский прототип: сейчас поддерживаются в основном MoE-модели, жадное целочисленное декодирование и контекст примерно на 1024 токена; сама архитектура не скрывается. Но перенос zk из блокчейна на уровень ответов моделей внезапно делает гораздо реальнее такие сценарии, как аудит и защита маршрутизации от подмены модели.
#zkSNARK #AI #可验证推理 #Anthropic
