Исследователь Тянь Кэюй (Keyu Tian), которого уволили по подозрению во вмешательстве в обучение ИИ-модели ByteDance и которого китайские пользователи прозвали «стажёром, отравившим ИИ», недавно вновь оказался в центре внимания после основания стартапа в сфере моделей мира (World Model) и привлечения почти 30 миллионов долларов инвестиций. Теперь ему предъявили новые обвинения.
В этом месяце Тянь Кэюй дал интервью (elsewhere), в котором признал, что вмешивался в программу обучения другого стажёра, но отрицал, что долгое время намеренно саботировал исследования других людей. Однако недавно появилось публичное заявление под заголовком «Выслушаем версию стажёра А», в котором описывается совершенно иная версия событий, противоречащая словам Тяня.
В заявлении утверждается, что с марта по июль 2024 года Тянь Кэюй постоянно менял веса моделей ИИ, исходный код PyTorch и процедуры распределённого обучения, а также корректировал способы атак, одновременно участвуя в устранении сбоев в команде. Кроме того, в заявлении выдвинуто новое обвинение в нарушении исследовательской этики: Тянь Кэюй якобы использовал модель с открытым исходным кодом PixArt и выдавал её результаты за результаты обучения модели генерации изображений VAR, за которую отвечал сам.
К заявлению приложены фрагменты кода, предположительно использовавшегося для атак, а также приведены имена пяти исследователей, готовых дать показания о том, что они пережили лично. Однако на данный момент обвинения основаны главным образом на заявлениях другой стороны конфликта; полные журналы операций и принадлежность кода ещё предстоит независимо проверить.
Новый стартап Тянь Кэюя оценили в 200 миллионов долларов, хотя у него ещё нет продукта
Ранее сообщалось, что Тянь Кэюй основал ИИ-лабораторию, специализирующуюся на моделях мира. Несмотря на то что публичный продукт ещё не выпущен, а в команде всего около 10 человек, компания получила почти 30 миллионов долларов инвестиций от таких организаций, как 5Y Capital и IDG Capital, при оценке после раунда в 200 миллионов долларов.
Ранее Тянь Кэюй получил премию за лучшую статью на NeurIPS 2024 в качестве первого автора. Его исследование было посвящено визуальному авторегрессионному моделированию (Visual Autoregressive Modeling, VAR). Теперь он надеется развить эту технологию в базовую модель ИИ, способную понимать физический мир.
(Спорный стажёр ByteDance Тянь Кэюй: новая компания оценена в 200 миллионов, хотя продукта ещё нет)
Тянь Кэюй о прежнем скандале: никакого отравления не было
Однако после того, как стало известно о его стартапе, вновь привлекли внимание и разногласия, возникшие во время его стажировки в ByteDance в 2024 году. 12 октября (elsewhere) опубликовал интервью с Тянь Кэюем. По его словам, в том году он вмешивался в обучение другого стажёра, потому что тот, как он считал, необоснованно занимал ресурсы GPU и даже останавливал программы других сотрудников, а команда не смогла эффективно решить проблему. Поэтому он сам решил вмешаться, хотя и выбрал неправильный способ.
Тянь Кэюй утверждает, что с помощью GPT писал код и примерно за десять дней вручную вмешивался в эксперименты другого стажёра около пяти раз. По его словам, это не была продолжавшаяся месяцами масштабная атака, о которой писали в интернете. Он подчёркивает, что у него никогда не было нехватки GPU и он не вмешивался в эксперименты других исследователей. Он готов понести ответственность за нарушение правил, но не согласен с тем, что его описывают как человека, намеренно саботировавшего исследования коллег.
Тянь Кэюй также заявил тогда, что может с уверенностью сказать: его неправомерные действия не повлияли на исследования и публикации других людей. Он отрицал использование вирусов и технических средств нападения или защиты.
Тянь Кэюя обвиняют в саботаже обучения с марта — ещё до спора о ресурсах GPU
Ранее Тянь Кэюй объяснял свои действия попыткой справиться с несправедливым распределением ресурсов GPU. Однако временная шкала, представленная в новом заявлении, указывает, что предполагаемое вмешательство могло начаться ещё в марте 2024 года. Согласно заявлению, Тянь Кэюй якобы изменил веса модели T5, использовавшейся в проекте LlamaGen, добавив случайный шум, из-за чего обучение модели стало проходить некорректно. Автор заявления утверждает, что тогда LlamaGen был небольшим исследовательским проектом, использовавшим не более 100 GPU, и конкуренция за вычислительные ресурсы для крупных моделей генерации видео, возникшая позднее, ещё не началась.
Проблему удалось решить лишь после того, как исследователи заново скачали веса модели T5. Автор опубликовал фрагмент кода, который, по его утверждению, взят из внутренней истории коммитов Тянь Кэюя в GitLab. В коде к весам модели добавлялся случайный шум, а затем восстанавливалась исходная норма, из-за чего изменённые веса внешне сохраняли нормальный численный масштаб.
Если происхождение этого кода и записи о его выполнении подтвердятся, это будет серьёзно противоречить словам Тянь Кэюя о том, что он вмешивался лишь в работу конкретного стажёра и только на протяжении примерно десяти дней.
Тянь Кэюя вновь обвиняют в фальсификации результатов исследования: он выдавал PixArt за модель VAR
Помимо обвинений в длительном вмешательстве в работу других исследователей, в заявлении раскрывается ещё одно обвинение против Тянь Кэюя, которое ранее обсуждалось редко. Согласно заявлению, тогда он отвечал за обучение модели генерации изображений VAR Text-to-Image с использованием тысяч GPU и регулярно докладывал руководителю о ходе исследования.
Он также разместил во внутреннем Discord модель, которую представил как результат обучения VAR, чтобы коллеги могли проверить качество генерации изображений. Однако после того, как в отношении Тянь Кэюя началось расследование, команда повторно проверила модель и, по утверждению авторов заявления, обнаружила, что система, доступная коллегам для тестирования, вовсе не была обучавшейся им моделью VAR T2I, а являлась открытой моделью PixArt.
В заявлении также говорится, что Тянь Кэюй якобы предусмотрел в процессе инференса специальный механизм: независимо от того, какой Prompt вводил пользователь, программа автоматически добавляла в начало слово «City», а затем передавала запрос модели PixArt для генерации изображения.
По мнению автора, это могло быть сделано, чтобы коллеги не могли напрямую сравнить результаты с открытой моделью, используя тот же Prompt, и тем самым обнаружить истинный источник продемонстрированных результатов.
В заявлении говорится, что исследователи тогда замечали: на сгенерированных изображениях часто без видимой причины появлялись очертания городских зданий. Однако установить причину им не удавалось, пока позднее они не проверили процесс инференса и не обнаружили это предполагаемое изменение.
В то же время, согласно заявлению, реальное обучение VAR T2I не дало результатов, которые Тянь Кэюй демонстрировал ранее, поэтому команде пришлось заново оценить ход работ и продолжить исследования и разработки. Это обвинение особенно чувствительно, поскольку нынешние предпринимательские возможности Тянь Кэюя и его способность привлекать инвестиции во многом основаны на его прежнем опыте исследований моделей генерации изображений.
Пять исследователей согласились дать показания
Помимо технических материалов, в заявлении перечислены пять исследователей: соавторы, указанные как первые авторы Goku, Шоуфа Чэнь и Чунцзянь Гэ; участник проекта Goku Тин-Чэ Линь; первый автор LlamaGen Пэйцзэ Сунь; а также стажёр того же периода Шилун Чжан.
В заявлении говорится, что перечисленные исследователи подтверждают достоверность сведений, основанных на их личном опыте, и готовы при необходимости дать показания. Автор также напрямую обратился к нынешним партнёрам Тянь Кэюя и его инвесторам с предупреждением, порекомендовав независимо проверить журналы обучения, происхождение моделей и ход исследований, чтобы выяснить, соответствуют ли объяснения Тянь Кэюя о прошлых событиях фактам.
В суде первой инстанции Тянь Кэюя обязали выплатить компенсацию в размере 500 тысяч юаней; рассмотрение апелляции продолжается
Если вспомнить ход всего дела, в 2024 году ByteDance публично подтвердила, что стажёр намеренно вмешивался в обучение моделей исследовательского проекта, и уволила причастного сотрудника. Позднее компания подала на Тянь Кэюя в суд, изначально потребовав возместить ущерб на сумму более 8 миллионов юаней.
По словам Тянь Кэюя в интервью для (elsewhere), суд первой инстанции определил размер компенсации примерно в 500 тысяч юаней. Однако ByteDance подала апелляцию, и дело всё ещё рассматривается судом второй инстанции. В интервью Тянь Кэюй неоднократно подчёркивал, что признаёт нарушение правил и готов выплатить компенсацию, но считает, что внешние обвинения в его адрес во многом преувеличены или даже выдуманы.
Эта статья «Бывший сотрудник ByteDance Тянь Кэюй ответил на обвинения в „отравлении“; его снова обвиняют в фальсификации исследований с помощью открытой модели» впервые появилась на Chain News ABMedia.