El exinvestigador de OpenAI **Nick Cammarata** afirmó que «alrededor del 90 % de las neuronas de los grandes modelos de IA cumplen, en la práctica, una sola función», y refutó de frente la teoría de las «neuronas entrelazadas» (superposición·representación superpuesta), a la que había contribuido en el pasado.
Puntos clave
Cammarata sostiene que muchos de los célebres casos de «neuronas entrelazadas» son, en realidad, casi una mala interpretación.
Algunos investigadores destacados piden cautela y afirman que «el panorama general no ha cambiado».
El artículo técnico complementario que respaldaría la afirmación aún no se ha publicado.
Camarata: «Las redes neuronales ya son limpias»
Camarata, que actualmente investiga en la startup de interpretabilidad Goodfire, hizo pública su postura el 15 de octubre en un ensayo titulado «Neural Networks Are Already Clean» (Las redes neuronales ya son limpias). Sostiene que, en muchos de los grandes modelos modernos con billones de parámetros, «la mayoría de las neuronas son relativamente fáciles de interpretar» y que los primeros estudios exageraron su complejidad. El artículo está dividiendo a la comunidad de interpretabilidad.
Según los resultados preliminares de una «auditoría» de neuronas de Qwen3-32B, un gran modelo de lenguaje que Goodfire está analizando, se estima que alrededor del 90 % de todas las neuronas tienen «una función principal», mientras que aproximadamente el 7 % cumple dos funciones estrechamente relacionadas. Aun así, cerca del 2 al 4 % de las neuronas sigue en una «zona residual» cuya función no se comprende bien. También llama la atención que buena parte de este análisis se llevara a cabo de forma automatizada mediante agentes de IA.
Camarata también revisó uno de los casos más famosos de «neuronas polisemánticas» en la historia de la investigación sobre interpretabilidad. Se sabe que esta neurona, hallada en el modelo de clasificación de imágenes InceptionV1, responde con intensidad tanto a rostros de gatos como a las partes delanteras de automóviles, y durante mucho tiempo se la consideró una prueba emblemática de que «una neurona representa varios conceptos superpuestos». Sin embargo, ahora interpreta esa neurona como un «detector de formas en V». Según él, su actividad aumenta cuando aparecen formas puntiagudas, como un hocico de zorro o una llama, mientras que las formas redondeadas, como la letra O, empujan la neurona en la dirección negativa.
Para leer también: La polémica sobre la legalidad del «Roadster volador» de Tesla… No habrá una conclusión antes de 2028
Las objeciones y cautelas de Nanda
Un empleado de OpenAI conocido por el seudónimo **Roon**, de quien se dice que es muy amigo de Camarata, calificó este trabajo como algo que «podría quedar registrado como un punto de inflexión en la historia de la ciencia». Sin embargo, también advirtió que «es imprescindible una reproducción y verificación independientes».
La reacción más cautelosa vino de **Neel Nanda**, quien dirige el equipo de interpretabilidad de Google DeepMind. Consideró que el ensayo era «interesante, pero no lo bastante como para cambiar el panorama general», y señaló que los enfoques que dependen únicamente del análisis a nivel de neurona inevitablemente tendrán «puntos ciegos».
Nanda sigue considerando válido el concepto de superposición. Dado que la cantidad de hechos que posee un modelo lingüístico supera con creces el número de neuronas, sostiene que varios conceptos necesariamente tienen que «cargarse» en una misma neurona. También expresó serias dudas sobre la posibilidad de generalizar directamente a sistemas complejos, como los grandes modelos de lenguaje, resultados obtenidos con modelos de imágenes pequeños.
Si se confirma que Camarata tiene razón, los investigadores podrán rastrear directamente indicios de engaño o de comportamientos peligrosos a nivel de circuitos, sin depender de señales indirectas como el «proceso de pensamiento» (chain of thought) del modelo. La fiabilidad de la cadena de pensamiento ya está en entredicho debido a la posibilidad de manipulación y a la generación de contenido inventado. Sin embargo, el artículo técnico complementario que respaldaría estas afirmaciones aún no se ha publicado, y también se ha señalado un posible conflicto de intereses, dado que Goodfire es una empresa especializada en interpretabilidad.
Este ensayo también supone un considerable «giro de rumbo» para el propio Camarata. En 2020, junto con **Chris Olah**, fue coautor de «Zoom In», donde popularizó la idea de la superposición: «Las redes con un número insuficiente de neuronas almacenan conceptos no relacionados superponiéndolos en una misma neurona». Apenas tres años después, el proyecto de interpretabilidad automatizada que dirigió en OpenAI llegó a una conclusión casi opuesta: «A lo sumo, alrededor del 1,7 % del total son neuronas comprensibles».
Siguiente artículo: ChatGPT supera a Claude Haiku 5.5 en la prueba 3-2… pero queda por detrás en los consejos personalizados