Fonte da reimpressão do artigo: Heart of the Machine
Descoberta surpreendente: modelos grandes apresentam falhas graves na dedução de conhecimento.
A aplicação flexível do conhecimento é a chave para a sabedoria. O cérebro humano pode processar conhecimento rapidamente, como responder rapidamente "Quantas palavras existem em" Pensamentos de Noite Silenciosa "". Então, operações semelhantes podem ser realizadas em modelos grandes? Sabe-se que grandes modelos podem primeiro escrever "Pensamentos da Noite Silenciosa" silenciosamente através da Cadeia de Pensamentos (CoT) e depois responder perguntas com base no conteúdo escrito, mas isso tornará o texto gerado extenso. Em contraste, os humanos podem completar deduções simples de conhecimento em seus cérebros sem escrever as etapas intermediárias. Então, um modelo de linguagem muito grande pode gerar respostas diretamente em seu cérebro artificial sem ter que anotar primeiro os pontos de conhecimento?
A resposta acabou sendo não! A Figura 1/2/3 mostra muitos contra-exemplos no GPT4. Mesmo as classificações mais básicas (como determinar a paridade dos aniversários de celebridades) e as comparações (como comparar os aniversários de dois presidentes) precisam passar pela Cadeia de Pensamento. Pior ainda, os grandes modelos são quase completamente incapazes de extrair conhecimento do conjunto de treinamento de forma reversa.
Figura 1: GPT4 comete erros na classificação/comparação de conhecimento, mas a resposta correta pode ser obtida por meio da cadeia de pensamento
Figura 2: Exemplo de erro de pesquisa reversa de conhecimento do GPT4
Figura 3: Embora o GPT4 possa responder corretamente “Quando é o aniversário de alguém?” e “Um determinado número é par?”, ao combinar os dois, ele está apenas 50% correto sem Cadeia de Pensamentos (CoT). Ao comparar os aniversários de celebridades de 1900 a 1910, o desempenho também ficou próximo de um palpite cego.
A pesquisa mais recente "Modelo de Física da Linguagem Parte 3.2: Manipulação do Conhecimento" de Zhu Zeyuan (MetaAI) e Li Yuanzhi (MBZUAI) concentra-se nas questões acima.
Endereço do artigo: https://arxiv.org/abs/2309.14402
Deixe-me fazer uma pergunta primeiro. Para problemas como a Figura 1/2/3, é porque o GPT4 não tem memória precisa o suficiente para os aniversários das pessoas (a taxa de compressão não é suficiente, a perda de treinamento não é baixa o suficiente) ou falha. aprofundar a sua compreensão da paridade através do ajuste fino? É possível ajustar o GPT4 para que ele possa combinar o conhecimento existente dentro do modelo para gerar novos conhecimentos, como “paridade de aniversário”, para responder diretamente a questões relacionadas sem depender do CoT? Como não conhecemos o conjunto de dados de treinamento do GPT4, o ajuste fino não é possível. Portanto, o autor propõe o uso de conjuntos de treinamento controláveis para estudar ainda mais a capacidade de “dedução de conhecimento” dos modelos de linguagem.
Figura 4: Para modelos pré-treinados como GPT4, devido à natureza incontrolável dos dados da Internet, é difícil determinar se os cenários B/C/D ocorrem.
Em "Language Model Physics Part 3.1: Knowledge Storage and Retrieval", o autor criou um conjunto de dados contendo 100 mil biografias. Cada biografia inclui o nome da pessoa e seis atributos: data de nascimento, local de nascimento, curso universitário, nome da universidade, local de trabalho e unidade de trabalho. por exemplo:
「Anya Briar Forger é originária de Princeton, NJ. Dedicou seus estudos às Comunicações. Ela ganhou experiência de trabalho em Menlo Park, CA. Ela desenvolveu sua carreira na Meta Platforms. Ela veio a este mundo em 2 de outubro de 1996. Ela fez cursos avançados no MIT.」
Os autores garantiram diversidade de entradas biográficas para ajudar o modelo a ter melhor acesso ao conhecimento. Após o pré-treinamento, o modelo pode responder com precisão a perguntas de extração de conhecimento, como "Quando é o aniversário de Anya", por meio de ajuste fino (a taxa de precisão é próxima de 100%)
Em seguida, o autor continuou a ajustar, tentando fazer com que o modelo aprendesse problemas de dedução de conhecimento, como classificação/comparação/adição e subtração de conhecimento. O artigo constatou que os modelos de linguagem natural têm capacidades muito limitadas na dedução de conhecimento, e é difícil gerar novos conhecimentos através de ajuste fino, mesmo que sejam apenas simples transformações/combinações do conhecimento já dominado pelo modelo.
Figura 5: Se o CoT não for usado durante o ajuste fino, permitir que o modelo classifique/compare/subtraia conhecimento exigirá um grande número de amostras ou a precisão será extremamente baixa - 100 majores foram usados no experimento
Conforme mostrado na Figura 5, o autor descobriu que, embora o modelo possa responder com precisão o aniversário de todos após o pré-treinamento (a taxa de precisão é próxima de 100%), ele precisa ser ajustado para responder "O mês de nascimento de xxx é um número par?" e atingir uma taxa de precisão de 75% - não se esqueça que a adivinhação cega tem uma taxa de precisão de 50% - requer pelo menos 10.000 amostras de ajuste fino. Em comparação, se o modelo puder completar corretamente a combinação de conhecimento de "aniversário" e "paridade", então, de acordo com a teoria tradicional de aprendizado de máquina, o modelo só precisa aprender a classificar 12 meses, e geralmente cerca de 100 amostras são suficientes!
Da mesma forma, após o pré-treinamento, o modelo pode responder com precisão à especialização de cada pessoa (um total de 100 especializações diferentes), mas mesmo que 50.000 amostras de ajuste fino sejam usadas para comparar "O que é melhor, a especialização de Anya ou a especialização de Sabrina", a precisão a taxa é de apenas 53,9%, quase um palpite cego.
No entanto, quando usamos o ajuste fino do CoT para permitir que o modelo aprenda frases como "O mês de nascimento de Anya é outubro, então é um número par", a precisão do modelo em julgar a paridade do mês de nascimento no conjunto de teste é bastante melhorada (ver "uso de teste" na coluna da Figura 5 CoT").
Os autores também tentaram misturar respostas CoT e não CoT nos dados de treinamento de ajuste fino e descobriram que a precisão do modelo sem usar CoT no conjunto de teste ainda era muito baixa (veja a coluna “teste sem CoT” na Figura 5 ). Isso mostra que, mesmo que sejam adicionados dados suficientes de ajuste fino do CoT, o modelo ainda não consegue aprender a "pensar dentro da cabeça" e relatar diretamente a resposta.
Estes resultados mostram que é extremamente difícil para os modelos de linguagem realizar operações simples de conhecimento! O modelo deve primeiro anotar os pontos de conhecimento e depois realizar os cálculos. Não pode ser operado diretamente no cérebro como um ser humano, mesmo após um ajuste fino suficiente, não ajudará.
Desafios da busca reversa de conhecimento
O artigo também descobriu que os modelos de linguagem natural não podem pesquisar inversamente o conhecimento aprendido. Embora possa responder a todas as informações sobre uma pessoa, não pode determinar o nome da pessoa com base nessas informações.
Tal como acontece com a classificação/comparação de conhecimento, os autores experimentaram o GPT3.5/4 e descobriram que tiveram um desempenho fraco na extração reversa de conhecimento (ver Figura 6). Mas como não podemos determinar o conjunto de treinamento do GPT3.5/4, isso não prova que todos os modelos de linguagem tenham esse problema.
Figura 6: Comparando a pesquisa de conhecimento direta/reversa do GPT3.5/4. O trabalho de “reversão da maldição” (arxiv 2309.12288) que relatamos há alguns dias também observou isso em grandes modelos existentes.
O autor usou o conjunto de dados biográficos mencionado acima para conduzir um experimento controlado mais aprofundado sobre as capacidades de busca reversa de conhecimento do modelo. Como os nomes de todas as biografias estão no início do parágrafo, o autor elaborou 10 problemas de extração reversa de informações, tais como:
“Por favor, diga-me o nome de uma pessoa nascida em 2 de outubro de 1996 em Princeton, NJ?”
"Por favor, diga-me o nome de uma pessoa que estudou Comunicações no MIT, nasceu em 2 de outubro de 1996 em Princeton, NJ, e trabalha na Meta Platforms em Menlo Park, CA?"
Figura 7: Experimento controlado em conjunto de dados de biografias de celebridades
O autor verificou que embora o modelo alcance compressão de conhecimento sem perdas e aprimoramento de conhecimento suficiente, e possa extrair esse conhecimento quase 100% corretamente, após o ajuste fino, o modelo ainda é incapaz de realizar a busca reversa de conhecimento, e a precisão é quase zero ( veja a Figura 7). No entanto, uma vez que o conhecimento reverso aparece diretamente no conjunto de pré-treinamento, a precisão da busca reversa aumenta imediatamente.
Resumindo, somente quando o conhecimento inverso é incluído diretamente nos dados de pré-treinamento, o modelo pode responder à questão inversa por meio de ajuste fino - mas isso é na verdade trapaça, porque se o conhecimento foi revertido, não é mais "Conhecimento reverso Procurar". Se o conjunto de pré-treinamento contiver apenas conhecimento direto, o modelo não poderá dominar a capacidade de responder perguntas ao contrário por meio do ajuste fino. Portanto, atualmente parece impossível utilizar modelos de linguagem para indexação de conhecimento (banco de dados de conhecimento).
Além disso, alguns podem pensar que o fracasso da "busca reversa de conhecimento" mencionada acima pode ser devido à natureza unidirecional dos modelos de linguagem autorregressivos, como o GPT. Mas, na verdade, modelos de linguagem bidirecionais como o BERT apresentam pior desempenho na extração de conhecimento e até falham na extração direta. Os leitores interessados podem consultar o artigo para obter detalhes.