O ex-pesquisador da OpenAI Nick Cammarata afirma que cerca de 90 % dos neurônios de um grande modelo de IA exercem apenas uma função, contestando uma teoria que ele próprio ajudou a formular.

Pontos-chave:

• Cammarata estima que os famosos exemplos de neurônios «emaranhados» foram, em grande parte, mal interpretados.

• Vários pesquisadores de destaque, porém, consideram que esses resultados não mudam fundamentalmente o panorama geral.

• Ainda não foi publicado um artigo técnico que detalhe e corrobore essas afirmações.

A «auditoria» dos neurônios de Cammarata

Hoje pesquisador no laboratório de interpretabilidade Goodfire, Cammarata apresentou sua tese em 15 de outubro, em um ensaio intitulado «Neural Networks Are Already Clean», publicado no site do laboratório. Nele, desenvolve a ideia de que a maioria dos neurônios — inclusive em modelos com até trilhões de parâmetros — já pode ser interpretada, ao contrário do que indicavam trabalhos anteriores. Essa posição dividiu a comunidade de pesquisa.

Em auditorias preliminares do modelo Qwen3‑32B, a Goodfire estima que cerca de 90% dos «polos» de neurônios têm apenas uma função principal, quase 7% têm duas, mas relacionadas entre si, e somente 2% a 4% continuam sem explicação. A maior parte da análise foi feita por agentes de IA.

Cammarata também reavalia o neurônio «polissêmico» mais famoso da área, identificado no modelo de imagens InceptionV1, que parecia ser ativado tanto por rostos de gatos quanto pela dianteira de carros. Agora, ele o interpreta como um detector de formas em V: formas pontiagudas, como focinhos de raposa ou chamas, provocam uma forte ativação, enquanto formas arredondadas, como a letra O, fazem com que ela se torne negativa.

Leia também: O Tesla Roadster voador é sequer legal? Nenhuma resposta clara antes de 2028

Nanda desafia Cammarata

Roon, funcionário da OpenAI que escreve sob pseudônimo e se apresenta como amigo próximo de Cammarata, acredita que esse trabalho pode entrar para a história da ciência. No entanto, alerta que serão necessárias confirmações independentes.

Neel Nanda, que lidera a equipe de interpretabilidade do Google DeepMind, demonstra bem mais cautela. Para ele, o ensaio é interessante, mas pouco altera a visão geral, e ele prevê que o estudo exclusivo dos neurônios deixará importantes pontos sem resposta. Nanda continua defendendo a realidade da superposição, argumentando que os modelos de linguagem armazenam muito mais fatos do que têm neurônios, e duvida que resultados obtidos com pequenos modelos de imagens possam ser aplicados a sistemas muito maiores.

Se Cammarata estiver certo, os pesquisadores poderão procurar sinais de engano ou de comportamentos perigosos diretamente nos circuitos internos de um modelo, em vez de confiar nas cadeias de raciocínio geradas em linguagem natural, consideradas cada vez menos confiáveis. Ainda assim, o artigo técnico detalhado não foi publicado, e a Goodfire, como empresa especializada em interpretabilidade, tem um interesse evidente em defender essa tese.

Esse ensaio representa uma mudança radical de posição para Cammarata. Em 2020, ele foi coautor, com Chris Olah, de «Zoom In», um artigo que apresentava os primeiros circuitos interpretados como evidência de superposição — a ideia de que redes com poucos neurônios sobrepõem conceitos sem uma relação clara nas mesmas unidades. Três anos depois, um projeto de interpretabilidade automatizada que ele havia iniciado na OpenAI só conseguiu considerar compreensíveis cerca de 1,7% dos neurônios, mesmo usando a métrica mais generosa.

Acompanhe: ChatGPT supera Claude Haiku 5.5 em um teste 3‑2, mas perde em conselhos personalizados