El exinvestigador de OpenAI Nick Cammarata afirma que alrededor del 90 % de las neuronas de un gran modelo de IA desempeñan una sola función, lo que pone en entredicho una teoría que él mismo contribuyó a formular.
Puntos clave:
Cammarata estima que los famosos ejemplos de neuronas «entrelazadas» se han interpretado mal en gran medida.
Sin embargo, varios investigadores destacados consideran que estos resultados no cambian fundamentalmente el panorama general.
Aún no se ha publicado un artículo técnico que detalle y respalde estas afirmaciones.
La «auditoría» de neuronas de Cammarata
Actualmente investigador en el laboratorio de interpretabilidad Goodfire, Cammarata expuso su tesis el 15 de octubre en un ensayo titulado «Las redes neuronales ya son interpretables», publicado en el sitio web del laboratorio. En él desarrolla la idea de que la mayoría de las neuronas, incluso en modelos con hasta billones de parámetros, ya son legibles, en contraste con trabajos anteriores. Esta postura ha dividido a la comunidad investigadora.
En auditorías preliminares del modelo Qwen3‑32B, Goodfire estima que alrededor del 90 % de los «polos» de neuronas tienen una sola función principal, cerca del 7 % tienen dos, pero relacionadas entre sí, y solo entre el 2 % y el 4 % siguen sin explicación. La mayor parte del análisis fue realizada por agentes de IA.
Cammarata también vuelve a examinar la neurona «polisemántica» más famosa del campo, detectada en el modelo de imágenes InceptionV1, que parecía activarse tanto ante caras de gatos como ante las partes frontales de automóviles. Ahora la reinterpreta como un detector de formas en V: las formas puntiagudas, como los hocicos de zorros o las llamas, provocan una fuerte activación, mientras que las formas redondeadas, como la letra O, hacen que su activación pase a ser negativa.
También puedes leer: ¿Es siquiera legal el Tesla Roadster volador? No habrá una respuesta clara antes de 2028
Nanda desafía a Cammarata
Roon, empleado de OpenAI que escribe bajo seudónimo y se presenta como amigo íntimo de Cammarata, considera que este trabajo podría convertirse en un hito en la historia de la ciencia. Sin embargo, advierte que harán falta confirmaciones independientes.
Neel Nanda, que dirige el equipo de interpretabilidad de Google DeepMind, se muestra mucho más reservado. En su opinión, el ensayo es interesante, pero apenas cambia la perspectiva general, y prevé que estudiar únicamente las neuronas dejará importantes zonas sin aclarar. Nanda sigue defendiendo que la superposición es real y sostiene que los modelos de lenguaje almacenan muchos más datos de los que tienen neuronas. También duda de que los resultados obtenidos con modelos pequeños de imágenes puedan extrapolarse a sistemas mucho más grandes.
Si Cammarata tiene razón, los investigadores podrían buscar señales de engaño o de comportamientos peligrosos directamente en los circuitos internos de un modelo, en lugar de confiar en las cadenas de razonamiento generadas en lenguaje natural, que se consideran cada vez menos fiables. Aun así, el artículo técnico detallado todavía no se ha publicado y Goodfire, como empresa especializada en interpretabilidad, tiene un interés evidente en defender esta tesis.
Este ensayo supone un giro espectacular para Cammarata. En 2020, coescribió con Chris Olah «Zoom In», un artículo que presentaba los primeros circuitos interpretados como pruebas de la superposición: la idea de que las redes con un número insuficiente de neuronas superponen conceptos sin una relación clara dentro de las mismas unidades. Tres años después, un proyecto de interpretabilidad automatizada que había iniciado en OpenAI solo logró considerar comprensibles alrededor del 1,7 % de las neuronas, incluso utilizando la métrica más generosa.
En desarrollo: ChatGPT supera a Claude Haiku 5.5 en una prueba 3‑2, pero pierde en consejos personalizados