Qubic科学チームによって書かれました
Neuraxonインテリジェンスアカデミー — 第4巻
ネットワークという言葉は神経科学と人工知能の両方で常に登場します。しかし、同じラベルを共有しているにもかかわらず、生物学的神経ネットワークと人工神経ネットワークは根本的に異なるシステムです。それぞれが実際に何をするのか、そして第3のアプローチがどのように適合するのかを理解するためには、あらゆるレベルでネットワークのアーキテクチャと動作を見ていく必要があります。
生物学的神経ネットワーク：脳が情報を処理する方法
生物学的神経ネットワークは、情報を処理し行動を生成するために相互接続されたニューロンのシステムです。これらのネットワークは動的です。私たちが意識的に任務に従事していないときでも、時間の経過とともに活動を続けます。それらはエネルギーコストを伴い、人間の脳の場合、その複雑さに対して驚くほど低いです。
生物学的ネットワークは、内部および外部の信号を独自の言語を使用して統合します：時間-周波数。異なるリズムで演奏する複数の楽器を持つ音楽バンドを考えてみてください。バスドラムがテンポを保ち、バスがビートごとに2つの音を演奏し、シンバルが16分音符を埋めます。メロディーはビートを失うことなく自由に動きます。ミュージシャンは異なるリズムでスコアを結合し、完全に合うようにします。これらはネストされた周波数であり、脳ネットワークが機能する正確にそのような方法です。異なるネットワークの時間-周波数言語は自己の中にネストし、クロス周波数結合として知られる概念です。
単一ニューロンから巨大なネットワークへ
すべてはニューロンから始まります。その単一の神経細胞は、アクションポテンシャルを生成します。これは短い電気インパルスで、軸索に沿って伝播します。ニューロンは樹状突起を通じて信号を受け取り、それらを細胞体で統合し、しきい値を超えた場合に信号を伝達します。このプロセスについては、NIAボリューム1: 知性は段階的に計算されるのではなく、時間の中で計算される、及びNIAボリューム2: 生きた知性のモデルとしての三元動力学で詳細にカバーしました。
ニューロンは化学シナプスを通じて他のニューロンに接続し、神経伝達物質が放出されます（NIAボリューム3: 神経調節と脳にインスパイアされたAIを参照）または、電気シナプスを通じて、電流が細胞間で直接流れます。ネットワークを形成するために、多くのニューロンが相互接続し、再帰回路を作成します。しかし、この統合は非線形であり、全体の応答がその部分の単純な合計と等しくないことを意味します。その規模は驚異的です：人間の脳には約860億のニューロンが含まれ、10¹⁴から10¹⁵のシナプスがあります（Azevedo et al., 2009）。
スモールワールド特性と興奮-抑制バランス
トポロジーのレベルで、これらのネットワークはスモールワールド特性を示します：高い局所クラスターと短いグローバル接続の組み合わせ。このアーキテクチャは、脳全体で効率的な通信を可能にし、同時に専門的なローカル処理を維持します。
生物学的神経ネットワークの機能は、興奮と抑制のバランスに依存します。興奮が支配すると、活動は不安定になります。抑制が支配すると、ネットワークは沈黙します。動的安定性は、両方の力のバランスから生まれます。このバランスは、経験に基づいて接続の強度を変化させるメカニズムであるシナプス可塑性を通じて維持されます。その上、神経調節は回路ゲインを調整し、入力が出力をどれだけ強く生成するかを制御します（Marder, 2012）。脅威的な状況では、例えば、ノルアドレナリンが感覚の感度と迅速な学習の能力を高めます。
複数の時間スケールと大脳皮質の脳機能
ネットワークは同時に複数の時間スケールで動作します。神経レベルでは、アクションポテンシャルがミリ秒単位で発火します。神経振動は秒単位で展開します。シナプスの変化は数時間または数日で発展し、構造的再編成は数年にわたって発生します。すべてが調和的、動的、そして絡み合ったパターンで機能します。
しかしすべてが構造なしにすべてと通信できるわけではありません。大脳皮質の脳機能は専門のネットワークに組織されています。最も重要なものには、自己参照および自己や他者について考えることに関連するデフォルトモードネットワーク、直接的なタスク実行に関連する中央実行ネットワーク、各瞬間に関連するものを検出し、異なるモード間で切り替えることを可能にする顕著性ネットワーク、自発的運動を維持するセンサー運動ネットワーク、そしてさまざまな注意ネットワークが含まれます。人間は、言語の理解と生成の両方を可能にする特徴的な言語ネットワークも持っています。
生物学的ネットワークでは、孤立した音は交響曲ではありません。交響曲は、音符間の関係の動的パターンから生まれます。脳は物を含んでいません。ハードドライブがファイルを保存する方法で記憶を保存することはありません。脳は動的な構成を構築します。
DOI: 10.3389/fnagi.2023.1204134より提供
人工神経ネットワーク：ディープラーニングモデルの動作
人工神経ネットワーク（ANN）は、データから複雑な関数を近似するように設計された数学モデルです。それは脳から抽象的なインスピレーションを引き出します：それは「人工ニューロン」と呼ばれる相互接続されたユニットを使用しますが、これらは細胞ではありません。これらは代数的操作です。代数的操作をニューロンと呼ぶことは、議論の余地がある誇張的な外挿であり、言語予測を「知性」と呼ぶことも同様に誤解を招くかもしれません。しかし、これらは確立された用語であるため、それらを理解し、実質と誇大広告を分けることが重要です。
人工ニューロンの働き
各人工ニューロンは3つのステップを実行します。まず、数値入力のセットを受け取ります。次に、各入力を調整可能なパラメータであるシナプス重みで乗算します。最後に、結果を合計し、非線形性を導入する活性化関数を適用します。一般的な活性化関数には、0と1の間の値を圧縮するシグモイドや、負の値をキャンセルして正の値を通過させるReLU（Rectified Linear Unit）が含まれます。
非線形性がなければ、ネットワークは単に線形変換を行うだけであり、複雑なパターンをモデル化することはできません。ANNは、データが入る入力層、データが徐々に変換される隠れ層、予測を生成する出力層に組織されます。
パーセプトロンからディープラーニングへ
すべての現代のアーキテクチャは、パーセプトロン（Rosenblatt, 1958）に起源を持ちます。これは、しきい値を持つ単純な線形ニューロンです。現代のディープラーニングネットワークは、数百の層と数十億のパラメータを含むことができます。しかし、彼らの核心では、ANNは期待される結果と出力が一致するまで数百万の数値セルを調整する巨大な自動化されたスプレッドシートのように機能します。
逆伝播と勾配降下：人工ネットワークが学ぶ方法
人工ネットワークにおける学習は、生物学的な学習のようには機能しません。経験に基づく神経調節因子やシナプスの強度の調整はありません。代わりに、学習はネットワークの予測と正しい答えの違いを定量化する誤差関数を最小化することに基づいています。
単純な例を考えてみましょう：「パリは...の首都です」とモデルに尋ねられます。予測がイタリアの場合、誤差関数はイタリアとフランスの間のギャップを測定し、それに応じて重みを調整します。この調整の背後にある中心的なメカニズムは逆伝播（Rumelhart et al., 1986）です。このアルゴリズムは出力での誤差を計算し、その誤差を層ごとに逆に伝播させ、勾配降下法を使って重みを調整します。これは、誤差を減少させる方向にパラメータを変更する数学的手法です。
形式的には、学習は多次元空間における微分可能な関数の最適化から成り立っています。物理空間を考えると、次元はx、y、zです。しかし、言語では、単数、複数、女性、男性、動詞、主語、属性、名詞、形容詞、イントネーション、同義語などの次元を想像してください。何百万もの次元を導入し、十分な計算能力があれば、モデルはパリがフランスの首都であることを、トレーニング中に予測誤差を減少させることによって学ぶことができます。
人工神経ネットワークのアーキテクチャ
用語は神経科学と重なりますが、そのプロセスは生きたシステムが学ぶ方法には似ていません。ANNでは、調整はグローバル計算と最終的な誤差の明示的知識に依存します。ネットワークは、どれだけ間違っていたかを正確に知る必要があります。
ネットワークが猫を認識することを学ぶと、何千、何百万ものラベル付き画像を受け取ります。失敗するたびに、わずかに重みを調整します。何百万回の反復の後、内部パターンは猫を他の物体と区別する構成に安定します。このプロセスは純粋に統計的です。ネットワークは「猫が何であるか」を「理解」していません。ピクセルの数値的相関を検出します。「猫の世界モデル」を保持しているわけではなく、単に膨大なスケールの数の行列を持っています。これが重要な理由についての詳細な考察については、世界モデル学習のベンチマークに関する分析をお読みください。
人工神経ネットワークのいくつかの主要なアーキテクチャがあります。畳み込みネットワーク（CNN）は、エッジ、テクスチャ、階層的パターンを検出する空間フィルターを使用し、コンピュータビジョンに不可欠です。再帰ネットワーク（RNN、LSTM）は、シーケンスを処理するために時間的記憶を組み込みます。そして、現在主流のトランスフォーマーは、入力のどの部分が最も関連性が高いかを動的に重み付けする注意メカニズムを使用します（Vaswani et al., 2017）。トランスフォーマーは現在、自然言語処理におけるほとんどの大規模言語モデルを駆動しています。
これらのネットワークの成長は、生きたシステムのように有機的には起こりません。明示的な設計と高性能コンピュータセンターでの大規模なトレーニングを通じてパラメータをスケーリングすることによって起こります。適応はトレーニング期間に限定されます。一度訓練されると、ネットワークは自発的にそのアーキテクチャを再編成することはありません。変更には新しい最適化プロセスが必要です。我々が「静的AIは死の終わりである」と探求したように、この凍結された性質は現在のAIシステムの根本的な制限です。
「ネットワーク」という名前を共有しているにもかかわらず、人工神経ネットワークと生物学的神経ネットワークの類似性は限られています。類推は構造的および抽象的であり、両者は相互接続されたユニットと接続の調整を通じて学習を使用します。しかし、脳は進化的で、具現化され、自己調整されたシステムです。ANNは数値空間における関数最適化者です。
生物学的ネットワークと人工ネットワークの間：Neuraxon Aigarthがギャップを埋める方法
Neuraxon Aigarthでシミュレーションされたネットワークは、生物学的ネットワークと従来の人工神経ネットワークの間に概念的に位置しています。それらは生きた組織ではありませんが、勾配によって最適化された単なる数学的関数でもありません。彼らの目的は、生物学的システムに典型的な動的、マルチスケールの可塑性、文脈依存の調整、および自己組織化を近似することです。すべてはQubicの分散型AIインフラストラクチャに構築された計算フレームワークの中で。
ボリューム1で自己組織化代謝システムを説明し、ボリューム2で微分可能な最適化関数を探求した場合、Neuraxonは後者の数学的定式化を放棄することなく、前者の動的特性を統合しようとしています。
三価の状態：興奮-抑制バランスを捉える
典型的な連続的活性化（例えばReLUの後の実際の値）の代わりに、Neuraxonは三価の状態を使用します：-1、0、および+1。ここで、+1は興奮性活性化を表し、-1は抑制性活性化を表し、0は休息または非活動を表します。
このスキームは生物学的な活動電位をコピーしようとはしません。むしろ、上記の生物学的ネットワークセクションで説明されている興奮-抑制バランスの機能的原理を捉えています。脳では、安定性はこれらの力のバランスから生まれます。Neuraxonでは、離散状態空間が単純な連続的変換よりも状態遷移システムに近い動的を課します。
古典的な人工ネットワークとは対照的に、活性化が生理学的意味を持たない浮動小数点数であるのに対し、三価のシステムはネットワークを通じて活動がどのように伝播するかを形作る構造的制約を課します。
二重重み可塑性：迅速な学習と遅い学習
生物学的神経ネットワークは、シナプスの有効性の急速な変化と時間をかけた遅い統合を通じて、異なる時間スケールで可塑性を示します。Neuraxonはこのアイデアを2つの重み成分を通じて紹介します:
w_fast: 即時環境に敏感な迅速な変化。
w_slow: 時間の経過に伴って繰り返しパターンを安定させる遅い変化。
これは、システムが標準的な逆伝播のように均一な重み更新に依存するのを防ぎます。学習の一部は一時的であり、別の部分は徐々に統合されます。このメカニズムは、ほとんどの人工神経ネットワークには欠けている次元を導入します：学習速度は固定されておらず、システムのグローバルな状態に依存します。
メタ変数を通じた文脈的神経調節
生物学的ネットワークでは、ノルアドレナリンやドーパミンのような神経調節因子は特定の情報内容を伝達しません。代わりに、広範囲な神経細胞集団のゲインと可塑性を変化させます。これについては、NIAボリューム3: 神経調節と脳にインスパイアされたAIで詳しく探求しました。
Neuraxonでは、変数メタが機能的に類似した役割を果たします。特定の情報をエンコードするのではなく、シナプス更新の大きさを修正します。これは、生物学的原則に近似しており、学習は動機付けまたは顕著性の文脈に依存します。従来の人工ネットワークでは、勾配は誤差に基づいて均一に適用されます。Neuraxonでは、学習は内部状態やグローバルな外部信号に応じて強化または減衰する可能性があります。
概念的な違いは重要です。古典的なディープラーニングネットワークでは、誤差が学習を駆動します。Neuraxonでは、誤差は、学習される量をその時々で変える文脈的調整信号と共存できます。
自己組織化クリティカリティと適応行動
生物学的ネットワークは、自己組織化クリティカリティと呼ばれるレジームの近くで動作し、システムが秩序と混沌の間の平衡を維持します。このレジームは、安定性を失うことなく柔軟性を可能にします。
Neuraxonは、この特性をモデル化し、ネットワークが小さな摂動によって広範な再編成を引き起こすことができる中間的な動的状態に進化することを許可しますが、システムが崩壊することはありません。
現在チームが開発中の自己受容を拡張したライフゲームのようなモデルでは、システムは外部信号（環境）と内部信号（自身の状態、エネルギー、前回の衝突）を受け取ることができます。エージェントが障害物に繰り返し衝突すると、メタ信号の増加が生成される可能性があり、これは覚醒の増加に類似しています。その信号は一時的に可塑性を高め、構造的再編成を促進します。
ここでは、ネットワークは単に間違いを犯すから学ぶのではありません。環境が適応的重要性を持つようになるから学びます。脳との類似性は限られています：Neuraxonは生物学、代謝、または主観的経験を持ちません。しかし、それはほとんどの従来の人工神経ネットワークには欠けている動的次元を導入し、分散型インフラストラクチャ上の脳にインスパイアされたAIへの真に新しいアプローチとして位置づけられています。
Neuraxonシミュレーションを実行するために必要な計算能力は、Qubicのグローバルなマイナーのネットワークによって提供され、Useful Proof of Workを介してAIトレーニングを合意メカニズム自体に変換します。
科学的参考文献
#Azevedo, F. A. C., et al. (2009). 神経細胞と非神経細胞の数が等しいため、人間の脳は等尺性にスケールアップされた霊長類の脳です。比較神経学ジャーナル, 513(5), 532-541. DOI: 10.1002/cne.21974
#Marder, E. (2012). ニューロン回路の神経調節：未来への回帰。ニューロン, 76(1), 1-11. DOI: 10.1016/j.neuron.2012.09.010
#Rosenblatt, F. (1958). パーセプトロン：脳における情報の保存と組織に関する確率モデル。心理学レビュー, 65(6), 386-408. DOI: 10.1037/h0042519
#Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). 誤差を逆伝播させることによる表現の学習。ネイチャー, 323(6088), 533-536. DOI: 10.1038/323533a0
#Vaswani, A., et al. (2017). 注意はあなたが必要なすべてです。神経情報処理システムの進展, 30. arXiv: 1706.03762
脳のネットワーク画像は以下からのものです：DOI: 10.3389/fnagi.2023.1204134