記事転載元：Model Evolution
元のソース: 量子ビット
画像ソース: Unbounded AI によって生成
ニューラルネットワークの説明不可能性は、AIの分野において常に「長年の問題」でした。
しかし今、私たちはある程度の進歩を遂げているようです -
ChatGPT の最強の競争相手である Claude の背後にある Anthropic 社は、辞書学習を使用して、約 500 個のニューロンを約 4,000 個の解釈可能な特徴に分解することに成功しました。
具体的には、ニューロンは解釈できませんが、この分解の後、Anthropic は、各特徴が異なる意味を表していること、たとえば、DNA 配列を担当するものや、HTTP リクエスト、法律文書などを表すもの、つまり解釈可能性があることを発見しました。
これらの機能のいずれかを人為的に刺激することで、期待した出力が得られるようにモデルを誘導できます。
たとえば、DNA 機能をオンにするとモデルは DNA を出力し、アラビア語テキスト機能をオンにするとモデルはアラビア語テキストを出力します。
アントロピックは興奮してこう言った。
彼らのアプローチは、AIの説明不可能性という大きな障害を克服する可能性が高い。 そして、言語モデルがどのように機能するかを理解できれば、モデルが安全かどうかを簡単に判断できるため、社会や企業がそのモデルを採用すべきかどうかを決定できます。
具体的に見てみましょう。
辞書学習を使用した言語モデルの分解
まず、言語モデルに限って言えば、その解釈不可能性は主に、ネットワーク内のほとんどのニューロンが「多意味」であるという事実に反映されています。
つまり、無関係な複数の事柄に応答できるということです。
たとえば、小規模言語モデルのニューロンは、学術引用、英会話、HTTP リクエスト、韓国語テキストなどのさまざまなコンテンツに対して同時に強い活性化を示します。
これにより、ニューラル ネットワークの各小さな部分の特定の機能や相互作用を理解することができなくなり、ネットワーク全体の動作を推測することができなくなります。
では、何が多意味性を引き起こすのでしょうか?
Anthropic は昨年の時点で、潜在的な要因の 1 つは「重ね合わせ」であると推測していました。
これは、多くの無関係な概念を少数のニューロンに圧縮するモデルの操作を指します。
同時に、アントロピック氏は、辞書学習、つまり物事の最も本質的な特徴を抽出することで、最終的には辞書を引くように新しい知識を獲得できるようにすることが、この問題の解決策であるとも指摘しました。
これに先立って、彼らは重ね合わせ玩具モデルを提案し、次のことを証明していました。
モデルにとって有用な特徴セットがトレーニング データ内にまばらな場合、ニューラル ネットワークはトレーニング中に自然に追加される可能性があります。 このおもちゃのモデルに基づいて、彼らは、まばらで解釈可能な特徴セットを見つけるための 3 つの戦略を提案しました。1 つは、重ね合わせを行わずにモデルを作成し、それを奨励することでまばらさを活性化することです。
2 つ目は、辞書学習を使用して、重ね合わせを示すモデルで超完全な特徴基盤を見つけることです。
3 番目は、最初の 2 つの方法を混合することです。
実験の結果、方法 1 では多意味論を排除するのに十分ではなく、方法 2 には深刻な過剰適合の問題があることが証明されました。
そこでチームはここで、スパース オートエンコーダーと呼ばれる弱い辞書学習アルゴリズムを使用しました。
トレーニングされたモデルから学習された特徴を生成することができ、モデルのニューロン自体よりも意味的に均一な分析単位を提供します。
全体として、このアルゴリズムは、これまでの豊富な研究、特にニューラル ネットワークの活性化のための辞書学習の使用ともつれの解除に基づいて構築されています。
結果として得られたエンコーダは、重ね合わせから解釈可能な特徴を抽出するという点で「納得のいく成功」を達成しました。
具体的には、Anthropic は、80 億のデータ ポイントを使用して MLP アクティベーションでスパース オートエンコーダーをトレーニングすることにより、512 個のニューロンを備えた MLP 単層トランスフォーマーを採用し、最終的に拡張係数によって MLP アクティベーションを比較的解釈可能な特徴に分解します。範囲は 1x (512 個) から拡張できます。機能）から 256x（131072 機能）まで。
Anthropic チームは、すべての解釈可能性分析を A/1 と呼ばれる 1 回の実行に集中させました。これには合計 4,096 個の特徴が含まれており、それぞれに意図したとおりに手動でアクティブ化できる注釈付きの意味が含まれています。
以下はそれらを視覚化したものです。
統合された長いレポートのリリース、7 つの重要な結論
今回、Anthropic は上記の結果をすべてレポートの形で発表しました。
レポートのタイトルは「単一意味性に向けて: 辞書学習による言語モデルの分解」です。
この記事は非常に長く、次の 4 つの部分に分かれています。
問題設定、研究の動機、そして彼らが訓練したトランスフォーマーとスパースオートエンコーダー。
特徴の詳細な調査、つまり「存在の証明」は、発見された特徴が実際に機能的に特異的な原因単位であることを証明します。
グローバル分析は、取得された特徴が解釈可能であり、MLP 層の重要な部分を説明できることを示しています。
現象分析は、特徴の分離性、普遍性などを含む特徴のいくつかの特性と、それらが「有限状態オートマトン」に似た興味深いシステムをどのように形成するかを説明します。
全体として、7 つの重要な結論があります。
1. スパース オートエンコーダを使用して比較的単一の意味特徴を抽出できますが、学習された特徴のほとんどは比較的解釈可能です。
2. スパースオートエンコーダは、ニューロン基盤では基本的に目に見えない解釈可能な特徴を生成します。
3. スパース オートエンコーダ機能を使用して、トランスフォーマの生成に介入し、ガイドすることができます。
たとえば、Base64 機能をアクティブにするとモデルは Base64 テキストを生成し、アラビア語テキスト機能をアクティブにするとアラビア語テキストが生成されます。
4. スパースオートエンコーダは比較的一般的な機能を生成します。特徴は、独自のモデル ニューロンよりも互いに類似しています (「普遍性」セクションに対応)。
5. オートエンコーダーのサイズを大きくすると、機能が「分割」されたように見えます。たとえば、小さな辞書にある Base64 特徴は、大きな辞書では 3 つに分割され、それぞれに、より微妙ではあるが解釈可能な意味が与えられます (「特徴の分割可能性」セクションに対応)。
6. わずか 512 個のニューロンで数万の特徴を表現できます。
7. 機能を「有限状態オートマトン」と同様のシステムに接続して、複雑な動作 (HTML 関数の生成など) を完了できます。
もう一つ
コメント欄では、一部のネチズンが次のようにコメントした。
ニューロンは不思議な箱のようなもので、Anthropic 氏の研究は、箱の中身を覗く方法を研究することに相当します。
もちろん、この仕事は始まりにすぎません——
Anthropic は説明可能性関連の研究者やエンジニアの採用も強化しています。
クリックすると、給与は25万米ドル（約180万元）から52万米ドルまでとなっており、調査内容は上記の報告書と密接に関連している。
レポートリンク: https://transformer-circuits.pub/2023/monosemantic-features/index.html
参考リンク：https://twitter.com/anthropicai/status/1709986949711200722