A Carnegie Mellon University afirma que uma forma de treinar IA poderia substituir quatro etapas separadas, o que poderia tornar mais barato e fácil para grandes laboratórios desenvolver chatbots poderosos sem perder desempenho.

Principais conclusões

• Um artigo de pesquisadores da Carnegie Mellon e colaboradores argumentou que um algoritmo baseado em verossimilhança pode abranger o pré-treinamento, o treinamento intermediário, o ajuste fino supervisionado e o aprendizado por reforço

• O pesquisador Omar Sanseviero publicou o artigo no X, e o resumo no arXiv o descreve como uma leitura recomendada

• O resumo no arXiv afirma que o método melhorou a relação entre precisão e custo computacional, preservando capacidades mais amplas em testes controlados e no mundo real

• Os autores argumentam que os objetivos de aprendizado por reforço podem ser derivados como um ajuste de máxima verossimilhança a distribuições-alvo geradas pelo modelo

O pesquisador Omar Sanseviero publicou o artigo no X no sábado, recomendando sua leitura, e o resumo subjacente no arXiv afirma que o método melhorou a relação entre precisão e custo computacional, preservando capacidades mais amplas em testes controlados e no mundo real.

A Carnegie Mellon University é uma instituição de pesquisa de destaque nos EUA, cujo trabalho em aprendizado de máquina frequentemente contribui para ferramentas e teorias que, mais tarde, são adotadas por laboratórios comerciais de IA. A principal alegação do artigo não é que todas as fases de treinamento desapareçam, mas que elas podem compartilhar uma mesma estrutura matemática, em vez de usar funções objetivo e pilhas de software separadas.

A Carnegie Mellon University transforma o treinamento em agendamento

A maioria dos modelos grandes ainda é treinada em etapas.

Primeiro, os laboratórios alimentam um modelo com enormes conjuntos de dados de texto e imagens durante o pré-treinamento. Depois, fazem ajustes com dados mais específicos no treinamento intermediário ou no ajuste fino supervisionado e, mais tarde, usam aprendizado por reforço, um método que recompensa as saídas que têm bom desempenho em relação a um alvo.

O artigo argumenta que essa divisão é um hábito, não uma lei.

Seus autores escrevem que objetivos adequados de aprendizado por reforço podem ser derivados como um ajuste de máxima verossimilhança a distribuições-alvo geradas pelo modelo. Na prática, isso significa que um laboratório poderia combinar conjuntos de dados estáticos e trajetórias geradas pelo modelo dentro de um único treinador e, então, concentrar-se em decidir quais dados entram na execução, em que proporção e em que momento.

Isso é importante porque as etapas de treinamento costumam gerar duplicação de esforços de engenharia.

Equipes diferentes mantêm pipelines, checkpoints e regras de avaliação diferentes. Quando um laboratório altera os objetivos no meio do processo, também corre o risco de perder capacidades anteriores ou de gastar computação extra para recuperá-las.

Leia também: Recompensas verificáveis impulsionam uma mudança crucial para além do RLHF nos laboratórios de ponta

De receitas em etapas a um único treinador

A ideia surge enquanto os laboratórios de IA enfrentam uma pressão crescente para justificar como gastam cada dólar destinado ao treinamento.

Modelos maiores encareceram a curadoria de dados, o design de recompensas e o pós-treinamento, sobretudo à medida que o aprendizado por reforço passou de um trabalho de alinhamento de nicho para o ajuste de modelos convencional.

Essa pressão já mudou a forma como os laboratórios falam sobre treinamento. No último ano, os criadores de modelos deixaram de se gabar da contagem de parâmetros e passaram a destacar a eficiência de custos, a qualidade dos tokens e os ganhos no pós-treinamento.

Este artigo se encaixa nessa mudança porque trata o ciclo de vida do treinamento como um problema de alocação de recursos, não como uma sequência de etapas sagradas.

O artigo também surge após vários meses de debate público sobre se o pós-treinamento agora importa mais do que a escala bruta do pré-treinamento. O treinamento unificado não resolve essa disputa, mas sugere uma maneira mais simples de combinar os dois.

Como uma regra de verossimilhança transforma o RL

No artigo, a Carnegie Mellon University e seus colaboradores tratam o aprendizado por reforço como outra forma de ajustar o modelo a uma distribuição-alvo, em vez de uma família separada de técnicas de treinamento.

Isso é algo específico porque, no treinamento de modelos, RL geralmente significa amostrar respostas, atribuir pontuações a elas e, em seguida, direcionar o modelo para comportamentos com pontuações mais altas.

Os autores dizem que esse mesmo ciclo pode ser reformulado dentro de uma configuração de máxima verossimilhança, que pertence à mesma ampla família do treinamento padrão de previsão do próximo token.

Para laboratórios de IA como a Anthropic ou a OpenAI, o benefício prático não é a elegância. São menos transferências entre etapas de treinamento.

Um único treinador pode reduzir o número de conversões de checkpoints, interfaces de modelos de recompensa e limites frágeis entre etapas que complicam execuções longas. Para as equipes de infraestrutura, isso pode significar menos software duplicado e um caminho mais claro para o aprendizado contínuo, em que um modelo continua melhorando sem uma reinicialização completa.

O que resta observar é a adoção fora do artigo.

O resultado no arXiv é uma alegação de pesquisa, não uma implementação em produção. A primeira prova de que o treinamento unificado é importante virá se um grande laboratório começar a descrever sua pilha de pós-treinamento nesses termos ou se cadeias de ferramentas de código aberto adotarem o treinamento misto estático e por RL como padrão.

Leia a seguir: 3 principais chatbots de IA realizaram cirurgias no cérebro de um rato e cada um escolheu um tratamento diferente