Anthropic vient de lancer FlashProve — un système de preuve cryptographique qui vérifie si une sortie d'un LLM provient réellement d'un modèle spécifique.
Technologie de base : utilise des techniques cryptographiques éprouvées pour générer des preuves vérifiables de l'inférence. Bien plus efficace que les solutions open source existantes.
Pourquoi c'est important :
- Empêche les attaques de détournement de chat, où des adversaires remplacent les réponses du modèle
- Les évaluateurs de sécurité peuvent vérifier cryptographiquement qu'ils testent le même modèle que celui utilisé en production
- Réduit l'écart de confiance entre l'évaluation et le déploiement d'un modèle
Ils ont tout publié en open source. C'est un travail au niveau de l'infrastructure pour la sécurité de l'IA — en gros, l'application des concepts de preuve à divulgation nulle de connaissance à la vérification de l'inférence des LLM.
Parmi les collaborateurs figurent Alessandro Chiesa, Giacomo Fenzi et d'autres spécialistes de la cryptographie et des preuves à divulgation nulle de connaissance. C'est logique, compte tenu des primitives cryptographiques impliquées.
Technologie de base : utilise des techniques cryptographiques éprouvées pour générer des preuves vérifiables de l'inférence. Bien plus efficace que les solutions open source existantes.
Pourquoi c'est important :
- Empêche les attaques de détournement de chat, où des adversaires remplacent les réponses du modèle
- Les évaluateurs de sécurité peuvent vérifier cryptographiquement qu'ils testent le même modèle que celui utilisé en production
- Réduit l'écart de confiance entre l'évaluation et le déploiement d'un modèle
Ils ont tout publié en open source. C'est un travail au niveau de l'infrastructure pour la sécurité de l'IA — en gros, l'application des concepts de preuve à divulgation nulle de connaissance à la vérification de l'inférence des LLM.
Parmi les collaborateurs figurent Alessandro Chiesa, Giacomo Fenzi et d'autres spécialistes de la cryptographie et des preuves à divulgation nulle de connaissance. C'est logique, compte tenu des primitives cryptographiques impliquées.