O pesquisador Keyu Tian, despedido no passado por suspeita de interferir no treino de modelos de IA da ByteDance e apelidado por internautas chineses de «estagiário que envenenou a IA», voltou recentemente a ser notícia após fundar a startup World Model, dedicada a modelos do mundo, e obter quase 30 milhões de dólares em financiamento. Agora, enfrenta novas acusações.
Numa entrevista concedida este mês a (elsewhere), Keyu Tian admitiu ter interferido no programa de treino de outro estagiário, mas negou ter sabotado maliciosamente, durante um longo período, a investigação de outras pessoas. No entanto, uma declaração pública intitulada «Chegou a perspetiva do estagiário A» apresentou recentemente uma versão dos acontecimentos radicalmente diferente da de Tian.
A declaração acusa Tian Keyu de ter alterado repetidamente os pesos de modelos de IA, o código-fonte do PyTorch e os procedimentos de treinamento distribuído entre março e julho de 2024, chegando a ajustar os métodos de ataque enquanto participava da investigação de falhas da equipe. Além disso, a declaração apresenta uma nova controvérsia sobre integridade acadêmica: Tian Keyu é suspeito de ter usado o modelo de código aberto PixArt e apresentado seus resultados como se fossem de um modelo de geração de imagens VAR que ele próprio havia treinado.
A declaração inclui trechos de códigos de ataque suspeitos e lista cinco pesquisadores dispostos a testemunhar com base em suas experiências pessoais. No entanto, as acusações ainda se baseiam principalmente no relato da outra parte envolvida no caso, e os registros completos das operações e a autoria do código ainda precisam ser verificados de forma independente.
O novo empreendimento de Tian Keyu é avaliado em 200 milhões de dólares antes mesmo de ter um produto
Segundo reportagens anteriores, Tian Keyu fundou um laboratório de IA especializado em modelos de mundo. Apesar de ainda não ter lançado nenhum produto público e contar com uma equipe de apenas cerca de 10 pessoas, o laboratório recebeu quase 30 milhões de dólares em investimentos de instituições como a 5Y Capital e a IDG Capital, alcançando uma avaliação de 200 milhões de dólares após o investimento.
Tian Keyu recebeu o prêmio de Melhor Artigo da NeurIPS 2024 como primeiro autor por sua pesquisa sobre modelagem autorregressiva visual (Visual Autoregressive Modeling, VAR). Agora, pretende estender essa tecnologia a modelos fundamentais de IA capazes de compreender o mundo físico.
(O controverso estagiário da ByteDance, Tian Keyu, ainda não tem produto na nova empresa, mas ela já vale 200 milhões)
Tian Keyu fala sobre a controvérsia passada: não houve sabotagem por envenenamento
No entanto, com a divulgação da notícia sobre seu empreendimento, a controvérsia de seu estágio na ByteDance em 2024 voltou a ganhar destaque. Em 12 de outubro, (elsewhere) publicou uma entrevista com Tian Keyu. Ele disse que interferiu no treinamento de outro estagiário porque a outra pessoa estava usando recursos de GPU de forma injustificada e chegou a interromper os programas de outras pessoas. Como a equipe não conseguiu resolver a situação de maneira eficaz, ele acabou intervindo de forma errada.
Tian Keyu afirmou que usou o GPT para ajudar a escrever código e, ao longo de cerca de dez dias, interferiu manualmente nos experimentos da outra pessoa aproximadamente cinco vezes — não se tratou de um ataque em grande escala durante vários meses, como diziam os rumores na internet. Ele enfatizou que nunca ficou sem GPUs e que não mexeu nos experimentos de outros pesquisadores. Disse estar disposto a assumir a responsabilidade pela infração, mas rejeitou a caracterização de que teria sabotado maliciosamente a pesquisa de um colega.
Na época, Tian Keyu também afirmou estar certo de que sua conduta imprópria não havia afetado a pesquisa nem os artigos de nenhuma outra pessoa, e negou ter recorrido a meios técnicos como vírus ou técnicas de ataque e defesa.
Tian Keyu é acusado de sabotar o treinamento desde março, antes da disputa por recursos de GPU
Tian Keyu havia explicado sua conduta como uma reação à distribuição injusta de recursos de GPU, mas a cronologia apresentada na nova declaração indica que as supostas interferências remontam a março de 2024. Segundo a declaração, Tian Keyu teria alterado os pesos do modelo T5 usado no projeto LlamaGen, adicionando ruído aleatório e fazendo com que o treinamento do modelo apresentasse anomalias. O autor da declaração afirma que, na época, o LlamaGen era apenas um pequeno projeto de pesquisa que usava no máximo 100 GPUs e ainda não envolvia a disputa por capacidade computacional dos grandes modelos de geração de vídeo que veio depois.
As anomalias só foram resolvidas depois que os pesquisadores baixaram novamente os pesos do modelo T5. O autor publicou um trecho de código que, segundo ele, teria sido obtido dos registros internos de commits do GitLab de Tian Keyu. O código adicionaria ruído aleatório aos pesos do modelo e depois restauraria a norma original, fazendo com que os pesos alterados parecessem normais em escala numérica.
Se a origem e os registros de execução desse código forem confirmados, isso estará em forte contradição com a alegação de Tian Keyu de que interferiu apenas no trabalho de um estagiário específico e por cerca de dez dias.
Tian Keyu também é acusado de falsificar resultados de pesquisa: teria apresentado o PixArt como modelo VAR
Além das supostas interferências prolongadas na pesquisa de outros pesquisadores, a declaração também revela outra acusação contra Tian Keyu, menos discutida até então. Segundo a declaração, Tian Keyu era responsável por treinar um modelo de geração de imagens VAR Text-to-Image usando mais de mil GPUs e apresentava relatórios periódicos sobre o andamento da pesquisa aos seus superiores.
Ele também teria disponibilizado no Discord interno um modelo que dizia ser resultado do treinamento do VAR, para que outros colegas testassem a geração de imagens. No entanto, após Tian Keyu ser investigado, a equipe voltou a examinar o modelo e, segundo relatos, descobriu que o sistema disponibilizado para os colegas não era o VAR T2I que ele estava treinando, mas sim o modelo PixArt, que já era de código aberto.
A declaração chega a afirmar que Tian Keyu teria criado um mecanismo especial no processo de inferência: qualquer que fosse o Prompt inserido pelo usuário, o programa adicionaria automaticamente a palavra «City» no início antes de enviá-lo ao PixArt para gerar a imagem.
O autor acredita que isso talvez tenha sido feito para evitar que os colegas comparassem diretamente o mesmo Prompt com o modelo de código aberto e descobrissem a verdadeira origem dos resultados apresentados.
A declaração menciona que, na época, os pesquisadores notaram que as imagens geradas frequentemente apresentavam, sem explicação aparente, silhuetas de edifícios urbanos. No entanto, não conseguiram descobrir o motivo até que, mais tarde, examinaram o processo de inferência e encontraram essa suposta alteração.
Ao mesmo tempo, o treinamento real do VAR T2I supostamente não alcançou os resultados que Tian Keyu havia apresentado anteriormente, e a equipe precisou reavaliar o progresso e retomar o desenvolvimento. Essa acusação é particularmente delicada porque a capacidade empreendedora atual de Tian Keyu e seu poder de atrair investimentos se baseiam, em grande medida, em sua experiência anterior de pesquisa em modelos de geração visual.
Cinco pesquisadores são citados como testemunhas
Além de apresentar material técnico, a declaração também lista cinco pesquisadores: Shoufa Chen e Chongjian Ge, coautores principais do Goku; Ting-Che Lin, membro do projeto Goku; Peize Sun, primeiro autor do LlamaGen; e Shilong Zhang, estagiário na mesma época.
A declaração afirma que as pessoas citadas confirmaram a veracidade dos fatos relacionados às suas experiências pessoais e que estão dispostas a prestar depoimento, se necessário. O autor também fez um alerta direto aos atuais parceiros e investidores de Tian Keyu, recomendando que verifiquem de forma independente os registros de treinamento, a origem dos modelos e o andamento da pesquisa para confirmar se o relato de Tian Keyu sobre os acontecimentos passados corresponde aos fatos.
Tian Keyu foi condenado em primeira instância a pagar 500 mil yuans; o recurso ainda está em andamento
Relembrando o caso, a ByteDance confirmou publicamente em 2024 que um estagiário havia interferido maliciosamente no treinamento de modelos de um projeto de pesquisa e demitiu a pessoa envolvida. Posteriormente, a empresa processou Tian Keyu, pedindo inicialmente uma indenização superior a 8 milhões de yuans.
Segundo o que Tian Keyu disse em uma entrevista à (elsewhere), o tribunal fixou uma indenização de cerca de 500 mil yuans em primeira instância, mas a ByteDance recorreu, e o caso continua na segunda instância. Na entrevista, Tian Keyu enfatizou repetidamente que reconhece ter violado as regras e que está disposto a pagar uma indenização, mas considera que muitas acusações feitas contra ele foram exageradas ou até inventadas.
Este artigo, «Ex-funcionário da ByteDance, Tian Keyu, responde à controvérsia sobre “sabotagem” e é novamente acusado de falsificar pesquisas usando um modelo de código aberto», foi publicado originalmente no ABMedia, da Chain News.