Anthropic acaba de lanzar FlashProve: un sistema de pruebas criptográficas que verifica si una respuesta de un LLM realmente proviene de un modelo específico.
Tecnología principal: utiliza técnicas criptográficas consolidadas para generar pruebas verificables de inferencia. Es mucho más eficiente que las soluciones de código abierto existentes.
Por qué es importante:
- Evita los ataques de secuestro de chats en los que los atacantes sustituyen las respuestas del modelo
- Los evaluadores de seguridad pueden verificar criptográficamente que están probando el mismo modelo que se usa en producción
- Cierra la brecha de confianza entre la evaluación y la implementación del modelo
Han publicado todo como código abierto. Es un trabajo de infraestructura para la seguridad de la IA: básicamente, incorpora conceptos de pruebas de conocimiento cero a la verificación de inferencias de LLM.
Entre los colaboradores están Alessandro Chiesa, Giacomo Fenzi y otros especialistas en criptografía y conocimiento cero. Tiene sentido, dados los componentes criptográficos involucrados.
Tecnología principal: utiliza técnicas criptográficas consolidadas para generar pruebas verificables de inferencia. Es mucho más eficiente que las soluciones de código abierto existentes.
Por qué es importante:
- Evita los ataques de secuestro de chats en los que los atacantes sustituyen las respuestas del modelo
- Los evaluadores de seguridad pueden verificar criptográficamente que están probando el mismo modelo que se usa en producción
- Cierra la brecha de confianza entre la evaluación y la implementación del modelo
Han publicado todo como código abierto. Es un trabajo de infraestructura para la seguridad de la IA: básicamente, incorpora conceptos de pruebas de conocimiento cero a la verificación de inferencias de LLM.
Entre los colaboradores están Alessandro Chiesa, Giacomo Fenzi y otros especialistas en criptografía y conocimiento cero. Tiene sentido, dados los componentes criptográficos involucrados.