​🚨​🚨 papel sai de Oxford e Cambridge, publicado na Nature, ponha um nome nisso: colapso do modelo.
A configuração é simples. Treine um modelo. Deixe que ele escreva. Treine o próximo modelo com aquilo que ele escreveu. Repita.
A cada geração os dados ficam mais estreitos. As caudas caem primeiro — fatos raros, construções estranhas, a frase que só uma pessoa colocaria no papel. O que sobra é a média. O próximo modelo aprende a média. Depois de loops suficientes você não tem um sistema mais inteligente. Você ganha um eco fluente.
Isto não é um único chatbot falhando. Os autores mostram isso em diferentes configurações generativas. Se a web for preenchida com texto de máquinas e esse texto virar o conjunto de treino, o próximo modelo não está aprendendo o mundo. Ele está aprendendo a si mesmo.
Os laboratórios já sabem disso. Por isso ainda pagam por dados humanos, licenças e fóruns fechados. GPUs não são mais a entrada escassa. Texto limpo e original é.
Então o setor de IA tem dois relógios. Um é o crédito — os prédios e os arrendamentos de 20 anos. O outro é a dieta de dados. Capex não consegue imprimir caudas.
Observe qual relógio bate primeiro.
Não é conselho financeiro.