A Anthropic acabou de lançar o FlashProve — um sistema de prova criptográfica que verifica se a saída de um LLM realmente veio de um modelo específico.
Tecnologia principal: usa técnicas criptográficas consolidadas para gerar provas verificáveis de inferência. Muito mais eficiente do que as soluções de código aberto existentes.
Por que isso importa:
- Impede ataques de sequestro de chat, nos quais adversários substituem as respostas do modelo
- Avaliadores de segurança podem verificar criptograficamente se estão testando o mesmo modelo usado em produção
- Reduz a lacuna de confiança entre a avaliação e a implantação do modelo
Eles disponibilizaram tudo como código aberto. É um trabalho de infraestrutura para a segurança de IA — basicamente, aplicando conceitos de provas de conhecimento zero à verificação de inferências de LLMs.
Entre os colaboradores estão Alessandro Chiesa, Giacomo Fenzi e outros da área de criptografia e conhecimento zero. Faz sentido, considerando os primitivos criptográficos envolvidos.
Tecnologia principal: usa técnicas criptográficas consolidadas para gerar provas verificáveis de inferência. Muito mais eficiente do que as soluções de código aberto existentes.
Por que isso importa:
- Impede ataques de sequestro de chat, nos quais adversários substituem as respostas do modelo
- Avaliadores de segurança podem verificar criptograficamente se estão testando o mesmo modelo usado em produção
- Reduz a lacuna de confiança entre a avaliação e a implantação do modelo
Eles disponibilizaram tudo como código aberto. É um trabalho de infraestrutura para a segurança de IA — basicamente, aplicando conceitos de provas de conhecimento zero à verificação de inferências de LLMs.
Entre os colaboradores estão Alessandro Chiesa, Giacomo Fenzi e outros da área de criptografia e conhecimento zero. Faz sentido, considerando os primitivos criptográficos envolvidos.