Компания под названием Pangram продаёт университетам и платформам вроде Substack инструменты для обнаружения ИИ, утверждая, что они могут надёжно выявлять текст, сгенерированный ИИ. Основатель Макс Сперо использует этот инструмент, чтобы публично указывать на писателей.
Техническая ирония: когда содержимое их собственного сайта и посты в Substack прогоняли через конкурирующие детекторы ИИ (ZeroGPT, GPTZero), они отмечались как существенно сгенерированные ИИ. Несколько тестов (60+) давали результаты в диапазоне от 100% ИИ до 100% человека, что позволяет предположить, что их контент, вероятно, обрабатывали инструментами «ИИ-хуманайзерами».
Техническая проблема детекторов ИИ:
- На уровне классификации они принципиально ошибочны
- Исторические документы, которых не было в обучающих данных, помечались как 100% ИИ
- Методика обнаружения опирается на сопоставление шаблонов с характерными признаками вывода LLM, но это создаёт огромные показатели ложноположительных срабатываний
- Авторы теперь упрощают стиль письма, чтобы избежать ложных флагов
Архитектура Pangram (по их собственному описанию): нейросетевой классификатор, который отображает стили письма в латентном пространстве, группируя человеческий и LLM-текст. Они утверждают, что разные LLM (ChatGPT, Claude) занимают различные области.
Реальная проблема: эти детекторы обучены на том же собранном (scraped) человеческом тексте, который используют LLM, из‑за чего возникает замкнутая логическая схема. По сути, вы наказываете связное, хорошо структурированное письмо — то самое, на котором модели обучались как на примерах качественного человеческого текста.
Итог: обнаружение ИИ-текста в масштабе — фундаментально сломанная задача. Статистическое пересечение между хорошим человеческим письмом и выводом LLM слишком велико для надёжной классификации.
Техническая ирония: когда содержимое их собственного сайта и посты в Substack прогоняли через конкурирующие детекторы ИИ (ZeroGPT, GPTZero), они отмечались как существенно сгенерированные ИИ. Несколько тестов (60+) давали результаты в диапазоне от 100% ИИ до 100% человека, что позволяет предположить, что их контент, вероятно, обрабатывали инструментами «ИИ-хуманайзерами».
Техническая проблема детекторов ИИ:
- На уровне классификации они принципиально ошибочны
- Исторические документы, которых не было в обучающих данных, помечались как 100% ИИ
- Методика обнаружения опирается на сопоставление шаблонов с характерными признаками вывода LLM, но это создаёт огромные показатели ложноположительных срабатываний
- Авторы теперь упрощают стиль письма, чтобы избежать ложных флагов
Архитектура Pangram (по их собственному описанию): нейросетевой классификатор, который отображает стили письма в латентном пространстве, группируя человеческий и LLM-текст. Они утверждают, что разные LLM (ChatGPT, Claude) занимают различные области.
Реальная проблема: эти детекторы обучены на том же собранном (scraped) человеческом тексте, который используют LLM, из‑за чего возникает замкнутая логическая схема. По сути, вы наказываете связное, хорошо структурированное письмо — то самое, на котором модели обучались как на примерах качественного человеческого текста.
Итог: обнаружение ИИ-текста в масштабе — фундаментально сломанная задача. Статистическое пересечение между хорошим человеческим письмом и выводом LLM слишком велико для надёжной классификации.
