Бывший исследователь OpenAI Ник Каммарата утверждает, что около 90 % нейронов большой модели ИИ выполняют лишь одну функцию, ставя под сомнение теорию, которую он сам помог сформировать.
Ключевые моменты:
Каммарата считает, что известные примеры «переплетённых» нейронов во многом истолковали неверно.
Однако несколько ведущих исследователей полагают, что эти результаты в корне не меняют общей картины.
Техническая статья с подробным изложением и подтверждением этих утверждений пока не опубликована.
«Аудит» нейронов Каммараты
Ныне исследователь лаборатории интерпретируемости Goodfire, Каммарата изложил свою теорию 15 октября в эссе под названием «Нейронные сети уже прозрачны», опубликованном на сайте лаборатории. В нём он развивает идею о том, что большинство нейронов, в том числе в моделях с триллионами параметров, теперь поддаются интерпретации — вразрез с более ранними исследованиями. Эта позиция расколола исследовательское сообщество.
По предварительным результатам аудита модели Qwen3‑32B, специалисты Goodfire считают, что примерно 90 % «полюсов» нейронов выполняют только одну основную функцию, почти 7 % — две, но связанные между собой, и лишь от 2 % до 4 % остаются необъяснёнными. Основную часть анализа выполнили ИИ-агенты.
Каммарата также пересматривает трактовку самого известного в этой области «полисемантического» нейрона, обнаруженного в модели изображений InceptionV1. Казалось, он активировался и на кошачьи морды, и на передние части автомобилей. Теперь Каммарата интерпретирует его как детектор V-образных форм: заострённые формы, например лисьи морды или языки пламени, вызывают сильную активацию, тогда как округлые, например буква O, переключают его в отрицательное состояние.
Читайте также: Законна ли летающая Tesla Roadster? Ясного ответа не будет до 2028 года
Нанда бросает вызов Каммарате
Рун, сотрудник OpenAI, пишущий под псевдонимом и называющий себя близким другом Каммараты, считает, что эта работа может войти в историю науки. Однако он предупреждает: необходимы независимые подтверждения.
Нил Нанда, руководитель команды по интерпретируемости в Google DeepMind, настроен куда более скептически. По его мнению, эссе интересно, но почти не меняет общей картины; он ожидает, что изучение одних лишь нейронов оставит множество важных вопросов без ответа. Нанда по-прежнему отстаивает реальность суперпозиции: по его словам, языковые модели хранят гораздо больше фактов, чем в них есть нейронов. Он также сомневается, что результаты, полученные на небольших моделях изображений, можно перенести на гораздо более крупные системы.
Если Каммарата прав, исследователи смогут напрямую искать во внутренних схемах модели признаки обмана или опасного поведения, а не полагаться на цепочки рассуждений, сгенерированные на естественном языке и считающиеся всё менее надёжными. Однако подробная техническая статья до сих пор не опубликована, а Goodfire как компания, специализирующаяся на интерпретируемости, очевидно, заинтересована в продвижении этой теории.
Это эссе знаменует собой резкий поворот в позиции Каммараты. В 2020 году он вместе с Крисом Олахом написал статью «Приближение», в которой первые интерпретированные схемы приводились как доказательство суперпозиции — идеи о том, что сети, которым не хватает нейронов, накладывают никак не связанные друг с другом понятия друг на друга в одних и тех же элементах. Три года спустя проект автоматизированной интерпретируемости, который он запустил в OpenAI, смог признать понятными лишь около 1,7 % нейронов — даже при использовании самой щедрой метрики.
Далее: ChatGPT обходит Claude Haiku 5.5 в тесте 3‑2, но проигрывает в персонализированных рекомендациях