元OpenAI研究員の**ニック・カマラタ(Nick Cammarata)**は、「大規模AIモデル内のニューロン(神経細胞)の約90%は、実質的に一つの役割だけを果たしている」と主張し、自身もかつて貢献した「絡み合ったニューロン(superposition・重ね合わせ表現)」理論を真っ向から覆した。

要点

  • カマラタは、有名な「絡み合ったニューロン」の事例の多くは、誤読に近いと主張。

  • 一部の著名な研究者は「全体像は変わっていない」と慎重な姿勢を示している。

  • 主張を裏付ける技術論文は、まだ公開されていない。

「ニューラルネットはすでにクリーンだ」とカマラタ

現在、解釈可能性(interpretability)スタートアップのGoodfireで研究を行うカマラタは10月15日、「Neural Networks Are Already Clean(ニューラルネットワークはすでにクリーンだ)」と題したエッセイで、自身の見解を明らかにした。彼は、数兆個のパラメーターを持つ現代の大規模モデルの多くで、「大半のニューロンは比較的明確に読み解ける」とし、初期の研究はその複雑さを過大評価していたと主張した。この論考は解釈可能性コミュニティを二分している。

Goodfireが進めている大規模言語モデルQwen3-32Bの予備的な「ニューロン監査(audit)」の結果によると、全ニューロンのおよそ90%は「主な役割が一つ」だと推定され、約7%は互いに密接に関連する二つの機能を担っていると分析された。それでも、約2〜4%のニューロンは説明が十分につかない「残余領域」として残った。この分析のかなりの部分が、AIエージェントによって自動化された形で実施された点も注目される。

カマラタは、解釈可能性研究の歴史で最も有名な「多義的(polysemantic)ニューロン」の事例も改めて検証した。画像分類モデルInceptionV1で発見されたこのニューロンは、猫の顔と車のフロント部分の両方に強く反応することで知られ、「一つのニューロンが複数の概念を重ね合わせて表現する」ことの象徴的な証拠と長らく考えられてきた。しかし彼は今、このニューロンを「V字型検出器」と捉えている。キツネの鼻先や炎のように先の尖った形が現れると活性が高まり、アルファベットのOのような丸い形は、むしろニューロンを負の方向へ押しやるという。

あわせて読みたい:テスラ「フライング・ロードスター」の合法性をめぐる論争…2028年までに結論は出ない

ナンダの反論と慎重論

カマラタと親しいことで知られる、ペンネーム**ルーン(Roon)**を使うOpenAIの社員は、今回の研究について「科学史の転換点として記録されるかもしれない」と評価した。ただし彼も、「独立した再現と検証が不可欠だ」と釘を刺した。

より冷静な反応を示したのは、Google DeepMindで解釈可能性チームを率いる**ニール・ナンダ(Neel Nanda)**だった。彼は今回のエッセイについて「興味深いが、全体像を覆すほどではない」と評し、ニューロン単位の分析だけに頼るアプローチには、必然的に「ブラインドスポット(盲点)」が生じると指摘した。

ナンダは、スーパー・ポジション(superposition)という概念は今も有効だと考えている。言語モデルが持つ事実(facts)の量はニューロン数を圧倒的に上回るため、複数の概念を一つのニューロンに「多重搭載」せざるを得ない、という論理だ。また彼は、小規模な画像モデルから得られた結果を、大規模言語モデルなどの複雑なシステムにそのまま一般化することにも強い疑問を示した。

カマラタの主張が事実だと確認されれば、研究者はモデルの「思考過程(チェーン・オブ・ソート)」のような間接的なシグナルに頼らず、回路(circuits)レベルで欺瞞や危険な行動の痕跡を直接追跡できるようになる。チェーン・オブ・ソートは、すでに操作可能性や捏造の問題などから、その信頼性が揺らいでいる。ただし、これを裏付ける技術論文はまだ公開されておらず、Goodfire自体が解釈可能性を専門とする企業であることから、利益相反の可能性も指摘されている。

今回のエッセイは、カマラタ本人にとっても大きな「方向転換」だ。彼は2020年、**クリス・オラー(Chris Olah)**と共著で「Zoom In」を執筆し、「ニューロンが不足しているネットワークは、互いに無関係な概念を一つのニューロンに重ね合わせて保存する」というスーパー・ポジションの考え方を広めた。それからわずか3年後、彼がOpenAIで主導した自動解釈可能性プロジェクトは、「理解可能なニューロンは多く見積もっても全体の約1.7%」という、ほぼ正反対の結論を示していた。

次の記事:ChatGPT、3-2テストではClaude Haiku 5.5を上回るも、個別アドバイスでは劣勢