No domínio da criação de conteúdo, há três elementos essenciais a serem considerados: “perplexidade”, “explosão” e “previsibilidade”. A perplexidade avalia a complexidade do texto, enquanto a explosão examina a variação nas estruturas das frases. A previsibilidade, por outro lado, refere-se à probabilidade de prever a sentença subsequente. É importante notar que o conteúdo gerado por humanos geralmente abrange uma rica tapeçaria de comprimentos e complexidades de frases, resultando em maior explosão. Por outro lado, o conteúdo gerado pela IA tende a ser mais uniforme. Portanto, ao embarcar na criação do conteúdo que estou prestes a solicitar, é imperativo que ele possua um grau substancial de perplexidade e explosão, juntamente com um nível mínimo de previsibilidade. Além disso, deve aderir exclusivamente ao idioma inglês. Agora, vamos reimaginar o seguinte texto:

Segundo os cientistas, não existe um método universalmente aplicável para apagar dados de um modelo de linguagem grande pré-treinado.

Um triunvirato de acadêmicos vindos da Universidade da Carolina do Norte em Chapel Hill revelou recentemente sua pré-impressão sobre pesquisa em inteligência artificial (IA). Neste trabalho, eles ressaltam o desafio formidável associado à eliminação de dados sensíveis de modelos de linguagem extensivos, como o ChatGPT da OpenAI e o Bard do Google. Conforme elucidado no artigo dos pesquisadores, o esforço de "excluir" informações desses grandes modelos de linguagem prova ser possível. No entanto, é igualmente árduo verificar se as informações foram expurgadas com sucesso, assim como realizar o processo de remoção real. Esse dilema está enraizado na metodologia de design e treinamento desses modelos de linguagem. Eles passam por uma fase de pré-treinamento em bancos de dados abrangentes, seguido de ajuste fino para garantir a geração de saída coerente (GPT, neste contexto, significa "transformador pré-treinado generativo"). Uma vez que um modelo conclui seu treinamento, seus criadores não têm a capacidade de, por exemplo, acessar o banco de dados retroativamente e eliminar seletivamente arquivos específicos para evitar saída relacionada. Essencialmente, todas as informações assimiladas durante o treinamento de um modelo persistem dentro de seus pesos e parâmetros intrincados, tornando-os inescrutáveis ​​sem gerar saídas. Esta é a enigmática "caixa preta" da IA. Um problema irritante surge quando esses modelos, treinados em conjuntos de dados massivos, geram inadvertidamente informações confidenciais, como dados de identificação pessoal ou registros financeiros, que podem ser potencialmente prejudiciais e indesejáveis. Em um cenário hipotético em que um modelo de linguagem extensivo foi treinado em informações bancárias confidenciais, os meios tradicionais de identificar e remover esses dados são tipicamente inúteis. Em vez disso, os desenvolvedores de IA recorrem a medidas de proteção, como prompts codificados que restringem comportamentos específicos, ou implementam o aprendizado por reforço por meio de feedback humano (RLHF). Sob o paradigma RLHF, os avaliadores humanos se envolvem com esses modelos com o objetivo de provocar comportamentos desejados e indesejados.Quando o modelo produz resultados favoráveis, ele recebe feedback para ajustar ainda mais seu comportamento. Por outro lado, quando ele manifesta comportamentos indesejados, feedback corretivo é fornecido para mitigar tais tendências em resultados futuros. Notavelmente, apesar dos dados serem "excluídos" dos pesos de um modelo, ainda é possível obter informações específicas, embora por meio de prompts reformulados. Fonte da imagem: Patil, et al., 2023 No entanto, conforme destacado pelos pesquisadores da Universidade da Carolina do Norte, essa abordagem depende de humanos identificarem todas as deficiências potenciais exibidas por um modelo. Mesmo quando se mostra eficaz, ela não "exclui" verdadeiramente as informações do repositório cognitivo do modelo. Uma limitação mais profunda do RLHF reside na possibilidade de um modelo reter conhecimento de informações confidenciais. Embora a natureza do que um modelo realmente “sabe” seja um assunto de debate, a perspectiva de um modelo ser capaz, por exemplo, de descrever como criar uma arma biológica enquanto se abstém de responder a perguntas relacionadas a esse tópico apresenta preocupações éticas. Em suas descobertas conclusivas, os pesquisadores da Universidade da Carolina do Norte afirmam que mesmo técnicas de edição de modelos de ponta, como a Edição de Modelo Rank-One, não conseguem apagar completamente informações factuais de grandes modelos de linguagem. Dados factuais ainda podem ser extraídos, respondendo por 38% do tempo por meio de ataques de caixa branca e 29% do tempo por meio de ataques de caixa preta. O modelo empregado pela equipe de pesquisa em seu estudo é conhecido como GPT-J. Enquanto o GPT-3.5, um dos modelos fundamentais que alimentam o ChatGPT, ostenta formidáveis ​​170 bilhões de parâmetros, o GPT-J opera com modestos 6 bilhões. Em essência, isso significa que a tarefa de identificar e eliminar dados indesejados em um modelo de linguagem tão extenso quanto o GPT-3.5 é exponencialmente mais desafiadora do que fazê-lo em um modelo menor. Os pesquisadores conseguiram elaborar mecanismos de defesa inovadores para proteger modelos de linguagem de “ataques de extração” – esforços deliberados de atores maliciosos para manipular prompts a fim de extrair informações sensíveis da saída do modelo.No entanto, como enfatizam os pesquisadores, a questão da eliminação de informações confidenciais pode ser uma batalha contínua, com estratégias de defesa correndo constantemente para acompanhar o ritmo das metodologias de ataque emergentes.

A postagem Pesquisadores descobrem que mesmo depois que dados confidenciais são “excluídos”, LLMs como ChatGPT continuam a produzi-los. apareceu primeiro em BitcoinWorld.