Chatbots de IA como o ChatGPT têm chamado a atenção em todo o mundo graças à sua capacidade humana de discutir qualquer assunto.
No entanto, o relatório de Benj Edwards para a Ars Technica, publicado na quinta-feira (6 de abril), destaca uma grande desvantagem: esses chatbots podem espalhar inadvertidamente informações falsas, mas persuasivas, tornando-os fontes de fatos não confiáveis e potenciais contribuintes para a difamação.
Edwards explica que os chatbots de IA, como o ChatGPT da OpenAI, utilizam “grandes modelos de linguagem” (LLMs) para gerar respostas. LLMs são programas de computador treinados em grandes quantidades de dados de texto para ler e produzir linguagem natural. No entanto, são propensos a erros, comumente chamados de “alucinações” ou “confabulações” nos círculos acadêmicos. Edwards prefere a “confabulação”, pois sugere invenções criativas, mas não intencionais.
O artigo da Ars Technica destaca o problema dos bots de IA que geram informações enganosas, enganosas ou difamatórias. Edwards fornece exemplos de ChatGPT acusando falsamente um professor de direito de assédio sexual e alegando erroneamente que um prefeito australiano foi condenado por suborno. Apesar dessas desvantagens, o ChatGPT é considerado uma atualização do GPT-3, pois pode se recusar a responder a certas perguntas ou alertar sobre possíveis imprecisões.
O CEO da OpenAI, Sam Altman, admitiu as limitações do ChatGPT, twittando sobre suas limitações “incríveis” e os riscos de depender dele para assuntos cruciais. Altman também comentou sobre o conhecimento simultâneo e a tendência do chatbot para ser “confiante e errado”.
Edwards investiga seu funcionamento para compreender como modelos GPT como ChatGPT confabulam. Os pesquisadores criam LLMs como GPT-3 e GPT-4 usando “aprendizado não supervisionado”, em que o modelo aprende a prever a próxima palavra em uma sequência analisando vastos dados de texto e refinando suas previsões por meio de tentativa e erro.
O ChatGPT difere de seus antecessores porque foi treinado em transcrições de conversas escritas por humanos, afirma Edwards. A OpenAI empregou “aprendizado por reforço com feedback humano” (RLHF) para ajustar o ChatGPT, levando a respostas mais coerentes e menos confabulações. No entanto, as imprecisões permanecem.
Edwards alerta contra confiar cegamente nos resultados do chatbot de IA, mas reconhece que as melhorias tecnológicas podem mudar isso. Desde o seu lançamento, o ChatGPT passou por diversas atualizações, melhorando a precisão e sua capacidade de se recusar a responder perguntas que não consegue responder.
Embora a OpenAI não tenha respondido diretamente às perguntas sobre a precisão do ChatGPT, Edwards consulta documentos da empresa e notícias para obter insights. O cientista-chefe da OpenAI, Ilya Sutskever, acredita que o treinamento adicional em RLHF pode resolver o problema das alucinações. Ao mesmo tempo, o cientista-chefe de IA da Meta, Yann LeCun, argumenta que os atuais LLMs baseados em GPT não resolverão o problema.
Edwards também menciona métodos alternativos para melhorar a precisão do LLM usando arquiteturas existentes. O Bing Chat e o Google Bard já utilizam pesquisas na web para refinar seus resultados, e espera-se que uma versão do ChatGPT habilitada para navegador siga o exemplo. Além disso, os plug-ins ChatGPT planejam aumentar os dados de treinamento do GPT-4 com fontes externas, como a web e bancos de dados especializados. Como Edwards aponta, isso reflete o aumento de precisão que um ser humano ganha ao consultar uma enciclopédia.
Por último, Edwards sugere que um modelo semelhante ao GPT-4 poderia ser treinado para reconhecer quando está fabricando informações e ajustar-se de acordo. Isso pode envolver uma curadoria de dados mais avançada e vincular dados de treinamento a pontuações de “confiança”, semelhante ao PageRank. Outra possibilidade é ajustar o modelo para ser mais cauteloso quando menos confiante nas suas respostas.