Investigadores de Meta han desarrollado un método para detectar modelos de IA destilados que identificó el 79 % de las copias evaluadas con una tasa de falsos positivos del 0,1 %, sin inspeccionar el interior de los modelos sospechosos. La técnica, llamada WM-Basin, apunta a modelos entrenados con resultados de modelos «docentes» marcados con marcas de agua y se presenta en un artículo publicado el 27 de octubre de 2026.

Conclusiones principales

• WM-Basin examina texto generado por API, no los pesos ni los logits del modelo.

• Meta evaluó la técnica en 1.200 modelos estudiantes.

• La detección resistió varias modificaciones del modelo, pero se debilitó con el ajuste fino con datos limpios y la paráfrasis.

Cómo detecta WM-Basin los modelos de IA destilados

WM-Basin utiliza un modelo de sondeo independiente y limpio para analizar el texto generado por un modelo sospechoso de haber sido destilado. Investigadores de Meta FAIR y Meta Superintelligence Labs describen el método en «Watermark Basins: Black-Box Detection of Distilled LLMs», publicado con el identificador arXiv:2610.37266.

El artículo examina un escenario de copia concreto: alguien recopila respuestas de un modelo docente con marca de agua a través de su API y luego las usa para entrenar un modelo estudiante. WM-Basin busca pruebas de esa relación de entrenamiento utilizando únicamente el texto generado por el estudiante.

El detector introduce ese texto en un modelo de sondeo fijo y lo convierte en representaciones de gradientes, una forma de examinar cómo el entrenamiento con ese texto modificaría los parámetros del modelo de sondeo. Luego distingue las direcciones de ajuste fino habituales de la alineación con una «cuenca de marca de agua» específica de una clave en el espacio de parámetros.

Esto convierte la técnica en una forma de análisis de caja negra: no es necesario acceder a los pesos ni a los logits del modelo sospechoso. Para el proceso de detección bastan las respuestas de texto obtenidas a través de una API.

Una tasa de detección del 79 % en 1.200 modelos estudiantes

Según los investigadores, WM-Basin alcanzó una tasa de verdaderos positivos del 79 % manteniendo la tasa de falsos positivos en el 0,1 % al usar n-gram=1, mientras que el detector de caja negra más sólido anterior, basado en tokens, solo logró una tasa de verdaderos positivos del 29 % en las mismas condiciones.

Los autores también señalan que, a medida que los umbrales de detección se vuelven más estrictos y aumentan las ventanas de n-gramas, la ventaja de WM-Basin frente a sus competidores se amplía.

La evaluación incluyó 1.200 modelos estudiantes, con tamaños de entre 135 millones y 8.200 millones de parámetros. Los investigadores entrenaron estos modelos con trazas de razonamiento matemático extraídas de OpenR1-Math, que abarcan seis familias de arquitecturas de modelos estudiantes, varios modelos docentes y distintos métodos de marca de agua.

Estos hallazgos respaldan las mejoras que el artículo afirma haber logrado en la detección de modelos de IA destilados en el marco de su evaluación de razonamiento matemático.

¿Qué modificaciones mantienen o debilitan la detección?

Los investigadores descubrieron que la señal de detección de WM-Basin resistía la cuantización, la poda y el aprendizaje por refuerzo posteriores a la destilación. La cuantización comprime un modelo para reducir los costes de ejecución, mientras que la poda elimina parámetros.

El método también mantuvo una mayor fiabilidad cuando las señales a nivel de token se debilitaron, incluso durante el muestreo con temperatura baja.

Otros cambios redujeron su eficacia. Un ajuste fino exhaustivo con datos limpios y sin marca de agua degradó la detección, mientras que parafrasear las trazas de razonamiento del modelo docente ofreció otra posible vía para evadirla. Los autores identifican específicamente el ajuste fino supervisado continuo con material sin marca de agua como una de estas estrategias.

Pruebas de marcas de agua para desarrolladores de IA

La combinación de una mayor capacidad de detección y una baja tasa de falsas alarmas podría reforzar las pruebas basadas en marcas de agua en reclamaciones legales o contractuales relacionadas con la copia de modelos. En ese uso, la tasa de falsos positivos es especialmente relevante porque mide las alertas erróneas, no las identificaciones acertadas.

La comparación reportada por WM-Basin combina la misma tasa de falsos positivos del 0,1 % con una tasa de verdaderos positivos del 79 %, frente al 29 % del método anterior a nivel de token. En las pruebas subyacentes se usaron modelos estudiantes entrenados con trazas de razonamiento matemático de OpenR1-Math.

Artículo elaborado con ayuda de inteligencia artificial y revisado por el equipo editorial.