Исследователи Meta разработали метод обнаружения дистиллированных ИИ-моделей, который выявил 79% проверенных копий при частоте ложноположительных срабатываний 0,1%, не изучая внутреннее устройство подозрительных моделей. Метод, получивший название WM-Basin, предназначен для моделей, обученных на выходных данных моделей-«учителей» с водяными знаками. О нём рассказано в статье, опубликованной 27 октября 2026 года.

Главное

• WM-Basin анализирует текст, сгенерированный через API, а не веса модели или логиты.

• Meta проверила этот метод на 1 200 моделях-учениках.

• Метод обнаружения сохранял эффективность после нескольких модификаций моделей, но хуже работал после дообучения на чистых данных и перефразирования.

Как WM-Basin обнаруживает дистиллированные модели ИИ

WM-Basin использует отдельную чистую модель-зонд для анализа текста, созданного подозреваемой дистиллированной моделью. Исследователи из Meta FAIR и Meta Superintelligence Labs описывают этот подход в работе «Watermark Basins: Black-Box Detection of Distilled LLMs», опубликованной на arXiv под номером 2610.37266.

В статье рассматривается конкретный сценарий копирования: кто-то собирает через API ответы модели-учителя с водяными знаками, а затем использует их для обучения студенческой модели. WM-Basin ищет свидетельства такой связи в обучении, используя только текст, сгенерированный студенческой моделью.

Детектор передаёт этот текст фиксированной модели-зонду и преобразует его в градиентные представления — способ оценить, как обучение на этом тексте изменило бы параметры модели-зонда. Затем он отличает обычные направления дообучения от соответствия специфическому для ключа «бассейну водяного знака» в пространстве параметров.

Таким образом, эта техника представляет собой разновидность анализа методом чёрного ящика: доступ к весам или логитам подозрительной модели не требуется. Для обнаружения достаточно текстовых ответов, полученных через API.

79% обнаружений среди 1 200 студенческих моделей

По данным исследователей, при использовании n-gram=1 WM-Basin достиг уровня истинноположительных результатов 79%, сохранив уровень ложноположительных результатов на отметке 0,1%. Для сравнения, лучший из предыдущих детекторов методом чёрного ящика на уровне токенов в тех же условиях достигал лишь 29% истинноположительных результатов.

Авторы также отмечают, что по мере ужесточения порогов обнаружения и увеличения окон n-грамм преимущество WM-Basin перед конкурентами растёт.

В оценку вошли 1 200 студенческих моделей размером от 135 миллионов до 8,2 миллиарда параметров. Исследователи обучили эти модели на трассах математических рассуждений из OpenR1-Math. В исследование вошли шесть семейств архитектур студенческих моделей, несколько моделей-учителей и различные методы нанесения водяных знаков.

Эти результаты лежат в основе заявленных в статье улучшений обнаружения дистиллированных моделей ИИ в рамках оценки математических рассуждений.

Какие изменения сохраняют или ослабляют обнаружение?

Исследователи обнаружили, что сигнал обнаружения WM-Basin сохранялся после квантования, прореживания и обучения с подкреплением, проведённых после дистилляции. Квантование сжимает модель, чтобы снизить затраты на её запуск, а прореживание удаляет параметры.

Метод также оставался более надёжным, когда сигналы на уровне токенов ослабевали, в том числе при сэмплировании с низкой температурой.

Другие изменения снижали эффективность метода. Масштабное дообучение на чистых данных без водяных знаков ухудшало обнаружение, а перефразирование трасс рассуждений модели-учителя создавало ещё один потенциальный способ уклонения от обнаружения. Авторы особо отмечают продолжение контролируемого дообучения на материалах без водяных знаков как один из таких подходов.

Доказательства на основе водяных знаков для разработчиков ИИ

Сочетание более высокой точности обнаружения и низкого уровня ложных срабатываний потенциально усиливает доказательную базу на основе водяных знаков в юридических или договорных претензиях, связанных с копированием моделей. Для такого применения особенно важен уровень ложноположительных результатов, поскольку он показывает долю ошибочных срабатываний, а не успешных обнаружений.

В опубликованном сравнении WM-Basin сопоставляет один и тот же уровень ложноположительных результатов — 0,1% — с уровнем истинноположительных результатов 79%, тогда как у более раннего метода на уровне токенов он составлял 29%. В исходных тестах использовались студенческие модели, обученные на трассах математических рассуждений из OpenR1-Math.

Статья подготовлена при содействии искусственного интеллекта и проверена редакцией.