Os grandes modelos de linguagem também conseguem aprender conceitos, mas a condição é primeiro esgotar todas as outras opções; isso contrasta fortemente com o modo como os seres humanos abstraem conceitos diretamente a partir de dados muito escassos.
Nesta edição do AI on Air, selecionamos trechos do programa mais recente da Redpoint. O apresentador é Lukasz Kaiser — coautor do artigo “Transformer”, ex-pesquisador do Google Brain e da OpenAI — e ele analisa, a partir da perspectiva de quem viveu o processo, a diferença fundamental entre Transformer e a forma como os seres humanos aprendem.
▷ Com raciocínio em cadeia, aprendizado por reforço e o uso de ferramentas, este modelo de “prever a próxima palavra” já consegue realizar coisas que eram difíceis de imaginar há dois anos: por exemplo, passar algumas horas por dia discutindo problemas de trabalho com um assistente de programação e implementando tudo na prática.
▷ Ele usa uma analogia: o LLM primeiro “engole” trilhões de tokens, aprende todos os padrões superficiais e só então, quando nada disso explica o que está acontecendo, é que ele consegue agarrar os conceitos; já os seres humanos frequentemente obtêm e até criam conceitos a partir de poucos dados.
▷ Ambos estão evoluindo: o Transformer continua a avançar, mas os argumentos de que “ainda é preciso mais coisas” ficaram ainda mais convincentes. Já existem laboratórios explorando arquiteturas Transformer e observando resultados interessantes; quanto a quem vai vencer, ainda é incerto.🪁
Nesta edição do AI on Air, selecionamos trechos do programa mais recente da Redpoint. O apresentador é Lukasz Kaiser — coautor do artigo “Transformer”, ex-pesquisador do Google Brain e da OpenAI — e ele analisa, a partir da perspectiva de quem viveu o processo, a diferença fundamental entre Transformer e a forma como os seres humanos aprendem.
▷ Com raciocínio em cadeia, aprendizado por reforço e o uso de ferramentas, este modelo de “prever a próxima palavra” já consegue realizar coisas que eram difíceis de imaginar há dois anos: por exemplo, passar algumas horas por dia discutindo problemas de trabalho com um assistente de programação e implementando tudo na prática.
▷ Ele usa uma analogia: o LLM primeiro “engole” trilhões de tokens, aprende todos os padrões superficiais e só então, quando nada disso explica o que está acontecendo, é que ele consegue agarrar os conceitos; já os seres humanos frequentemente obtêm e até criam conceitos a partir de poucos dados.
▷ Ambos estão evoluindo: o Transformer continua a avançar, mas os argumentos de que “ainda é preciso mais coisas” ficaram ainda mais convincentes. Já existem laboratórios explorando arquiteturas Transformer e observando resultados interessantes; quanto a quem vai vencer, ainda é incerto.🪁