Написано командой Qubic Scientific
Академия интеллекта Neuraxon — Том 4
Слово сеть постоянно встречается как в нейробиологии, так и в искусственном интеллекте. Но несмотря на то, что они имеют одну и ту же метку, биологические нейронные сети и искусственные нейронные сети являются принципиально разными системами. Чтобы понять, что каждая из них на самом деле делает и как в это вписывается третий подход, нам нужно рассмотреть архитектуру и поведение сетей на каждом уровне.
Биологические нейронные сети: Как мозг обрабатывает информацию
Биологическая нейронная сеть — это система взаимосвязанных нейронов, задача которой заключается в обработке информации и генерации поведения. Эти сети динамичны. Они остаются активными со временем, даже когда мы не осознанно занимаемся какой-либо задачей. Они несут энергетические затраты, которые в случае человеческого мозга удивительно низки для сложности, которую они производят.
Биологические сети интегрируют как внутренние, так и внешние сигналы, используя свой собственный язык: временно-частотный. Представьте себе музыкальную группу с несколькими инструментами, играющими в разных ритмах. Бас-барабан задает темп, бас играет две ноты на такт, а тарелки заполняют шестнадцатые ноты. Мелодия движется свободно, не теряя ритма. Музыканты связывают свои партитуры в разных ритмах, которые идеально сочетаются. Это вложенные частоты, и именно так функционируют сети мозга. Временно-частотный язык различных сетей вложен сам в себя, концепция, известная как кросс-частотная связь.
От одиночных нейронов до массовых сетей
Всё начинается с нейрона. Эта одна нервная клетка генерирует потенциал действия, краткий электрический импульс, который распространяется вдоль аксона. Нейрон получает сигналы через дендриты, интегрирует их в соме и передает сигнал, если он превышает порог. Мы подробно рассмотрели этот процесс в NIA Volume 1: Почему интеллект не вычисляется шаг за шагом, а во времени, и NIA Volume 2: Третичные динамики как модель живого интеллекта.
Нейроны соединяются с другими нейронами через химические синапсы, где нейромедиаторы выделяются (см. NIA Volume 3: Нейромодуляция и ИИ, вдохновленный мозгом), или через электрические синапсы, где ток проходит непосредственно между клетками. Чтобы образовать сети, многие нейроны взаимосвязываются и создают рекуррентные цепи. Но эта интеграция нелинейна, что означает, что ответ целого не равен простой сумме его частей. Масштаб потрясающий: человеческий мозг содержит примерно 86 миллиардов нейронов и где-то между 10¹⁴ и 10¹⁵ синапсами (Azevedo et al., 2009).
Свойства маломиров и баланс возбуждения и торможения
На топологическом уровне эти сети демонстрируют свойства маломиров: высокая локальная кластеризация в сочетании с короткими глобальными соединениями. Эта архитектура позволяет эффективную коммуникацию по всему мозгу, сохраняя при этом специализированную локальную обработку.
Функционирование биологических нейронных сетей зависит от баланса между возбуждением и торможением. Если возбуждение доминирует, деятельность дестабилизируется. Если торможение доминирует, сеть замолкает. Динамическая стабильность возникает из баланса между обеими силами. Этот баланс поддерживается через синаптическую пластичность, механизм, который позволяет силе соединений изменяться на основе опыта. Кроме того, нейромодуляция корректирует усиление цепи, контролируя, насколько сильно вход производит выход (Marder, 2012). В угрожающей ситуации, например, норадреналин увеличивает чувствительность к сенсорной информации и способность к быстрому обучению.
Несколько временных масштабов и функция коры головного мозга
Сети работают на нескольких временных масштабах одновременно. На нейронном уровне потенциалы действия возникают за миллисекунды. Нейронные колебания разворачиваются за секунды. Синаптические изменения развиваются в течение часов или дней, а структурная реорганизация происходит на протяжении лет. Всё работает в гармоничном, динамичном и переплетенном паттерне.
Но не всё общается со всем без структуры. Функция коры головного мозга организована в специализированные сети. К наиболее важным относятся сеть режима по умолчанию, связанная с самоотсылкой и размышлениями о себе и других; центральная исполнительная сеть, связанная с непосредственным выполнением задачи; сеть значимости, которая обнаруживает, что актуально в каждый момент и позволяет переключаться между различными режимами; сенсомоторная сеть, которая поддерживает произвольные движения; и различные сети внимания. У людей также есть отличительная языковая сеть, позволяющая как понимание, так и производство языка.
В биологических сетях ни одна изолированная нота не является симфонией. Симфония возникает из динамического паттерна взаимосвязей между нотами. Мозг не содержит вещей. Он не хранит воспоминания так, как жесткий диск хранит файлы. Мозг строит динамические конфигурации.
Предоставлено из DOI: 10.3389/fnagi.2023.1204134
Искусственные нейронные сети: как работают модели глубокого обучения
Искусственная нейронная сеть (ANN) — это математическая модель, предназначенная для приближения сложных функций из данных. Она черпает абстрактное вдохновение из мозга: использует взаимосвязанные единицы, называемые "искусственными нейронами", но это не клетки. Это алгебраические операции. Называть алгебраическую операцию нейроном можно считать преувеличением, а называть предсказание языка "интеллектом" также может быть вводящим в заблуждение. Но поскольку это устоявшиеся термины, важно их понять и отделять суть от шумихи.
Как работает искусственный нейрон
Каждый искусственный нейрон выполняет три шага. Сначала он получает набор числовых входов. Затем он умножает каждый вход на синаптический вес, который является настраиваемым параметром. Наконец, он суммирует результаты и применяет функцию активации, которая вводит нелинейность. Общие функции активации включают сигмоид, который сжимает значения между 0 и 1, и ReLU (Rectified Linear Unit), который отменяет отрицательные значения и пропускает положительные.
Без нелинейности сеть просто выполняла бы линейное преобразование, неспособное моделировать сложные паттерны. ANN организованы в слои ввода, где данные поступают; скрытые слои, где данные постепенно преобразуются; и выходной слой, который генерирует предсказание.
От перцептрона до глубокого обучения
Все современные архитектуры ведут своё происхождение от перцептрона (Rosenblatt, 1958), простой линейной нейронной сети с порогом. Современные сети глубокого обучения могут содержать сотни слоев и миллиарды параметров. Но в своей основе ANN функционирует как огромная автоматизированная электронная таблица, которая корректирует миллионы числовых ячеек, пока выход не совпадает с ожидаемым результатом.
Обратное распространение и градиентный спуск: как искусственные сети учатся
Обучение в искусственных сетях не работает так, как биологическое обучение. Нет корректировки нейромодуляторов или синаптической интенсивности на основе прожитого опыта. Вместо этого обучение основано на минимизации функции ошибки, которая количественно определяет разницу между предсказанием сети и правильным ответом.
Рассмотрим простой пример: модели просят завершить "Париж — это столица..." Если предсказание — Италия, функция ошибки измеряет разрыв между Италией и Францией, а затем корректирует веса соответственно. Центральный механизм за этой корректировкой — обратное распространение (Rumelhart et al., 1986). Этот алгоритм вычисляет ошибку на выходе, распространяет эту ошибку обратно слой за слоем и корректирует веса с помощью градиентного спуска, математического метода, который изменяет параметры в направлении, которое уменьшает ошибку.
Формально, обучение состоит в оптимизации дифференцируемой функции в пространстве многих измерений. Если вы подумаете о физическом пространстве, измерения — это x, y и z. Но в языке представьте себе такие измерения, как единственное, множественное, женский, мужской, глагол, субъект, атрибут, существительное, прилагательное, интонация и синоним. Введите миллионы измерений и достаточно вычислительной мощности, и модель сможет научиться, что Париж — это столица Франции, просто уменьшая ошибки предсказания во время обучения.
Архитектуры искусственных нейронных сетей
Хотя терминология пересекается с нейронаукой, процесс не похож на то, как живой организм учится. В ANN корректировка зависит от глобального расчета и явного знания окончательной ошибки. Сеть должна точно знать, насколько она ошибалась.
Если сеть учится распознавать кошек, она получает тысячи или миллионы помеченных изображений. Каждый раз, когда она ошибается, она немного корректирует веса. После миллионов итераций внутренний шаблон стабилизируется в конфигурацию, которая различает кошек от других объектов. Процесс чисто статистический. Сеть не "понимает", что такое кошка. Она обнаруживает числовые корреляции в пикселях. У неё нет "модельного мира" кошки, только матрицы чисел на огромных масштабах. Для более глубокого понимания, почему это важно, прочитайте наш анализ обучения модельного мира.
Существует несколько ключевых архитектур искусственных нейронных сетей. Сверточные сети (CNN) используют пространственные фильтры, которые обнаруживают края, текстуры и иерархические паттерны, что делает их необходимыми для компьютерного зрения. Рекуррентные сети (RNN, LSTM) включают временную память для обработки последовательностей. А теперь доминирующие Трансформеры используют механизмы внимания, которые динамически взвешивают, какие части ввода наиболее актуальны (Vaswani et al., 2017). Трансформеры в настоящее время управляют большинством крупных языковых моделей в обработке естественного языка.
Рост этих сетей не происходит органически, как в живых системах. Это происходит через явный дизайн и масштабирование параметров путем массового обучения в центрах высокопроизводительных вычислений. Адаптация ограничена периодом обучения. После обучения сеть не перерабатывает свою архитектуру спонтанно. Любое изменение требует нового процесса оптимизации. Как мы исследовали в That Static AI Is a Dead End, эта замороженная природа является фундаментальным ограничением текущих ИИ-систем.
Несмотря на то, что название "сеть" общее, схожесть между искусственными и биологическими нейронными сетями ограничена. Аналогия структурная и абстрактная: обе используют взаимосвязанные единицы и обучение через корректировку соединений. Но мозг — это эволюционная, воплощённая и саморегулируемая система. ANN — это оптимизатор функции в числовом пространстве.
Между биологическими и искусственными сетями: как Neuraxon Aigarth соединяет разрыв
Сети, смоделированные в Neuraxon Aigarth, концептуально расположены между биологическими сетями и обычными искусственными нейронными сетями. Они не являются живыми тканями, но они не просто математические функции, оптимизированные градиентом. Их цель — приблизить динамику, типичную для биологических систем, включая многомасштабную пластичность, контекстуально зависимую модуляцию и самоорганизацию, всё это в рамках вычислительной структуры, построенной для децентрализованной ИИ-инфраструктуры Qubic.
Если в том томе 1 мы описали самоорганизованные метаболические системы, а в томе 2 исследовали дифференцируемые оптимизирующие функции, то Neuraxon пытается интегрировать динамические свойства первых, не отказываясь от математической формализации вторых.
Тривиальные состояния: захват баланса возбуждения и торможения
Вместо типичных непрерывных активаций (реальные значения после ReLU, например) Neuraxon использует тривиальные состояния: -1, 0 и +1. Здесь +1 представляет возбуждающую активацию, -1 представляет тормозящую активацию, а 0 представляет отдых или бездействие.
Эта схема не пытается скопировать биологический потенциал действия. Скорее, она захватывает функциональный принцип баланса возбуждения и торможения, описанный в разделе о биологических сетях выше. В мозге стабильность возникает из баланса между этими силами. В Neuraxon дискретное состояние накладывает динамику, близкую к системам перехода состояний, чем к простым непрерывным преобразованиям.
В отличие от классических искусственных сетей, где активация является числом с плавающей запятой без физиологического смысла, тривиальная система накладывает структурные ограничения, которые формируют, как активность распространяется через сеть.
Двойная пластичность весов: быстрое и медленное обучение
Биологические нейронные сети проявляют пластичность на различных временных масштабах: быстрые изменения в синаптической эффективности и медленное консолидация со временем. Neuraxon вводит эту идею через два компонента веса:
w_fast: быстрые изменения, чувствительные к немедленной среде.
w_slow: медленные изменения, которые стабилизируют повторяющиеся паттерны со временем.
Это предотвращает зависимость системы исключительно от однородного обновления весов, как в стандартном обратном распространении. Часть обучения может быть временной, в то время как другая часть постепенно консолидируется. Этот механизм вводит измерение, отсутствующее в большинстве искусственных нейронных сетей: скорость обучения не фиксирована, а зависит от глобального состояния системы.
Контекстуальная нейромодуляция через мета-переменную
В биологических сетях нейромодуляторы, такие как норадреналин и дофамин, не передают специфическое информационное содержание. Вместо этого они изменяют усиление и пластичность широких нейронных популяций. Мы исследовали это в глубину в NIA Volume 3: Нейромодуляция и ИИ, вдохновленный мозгом.
В Neuraxon переменная мета выполняет функционально аналогичную роль. Она не кодирует специфическую информацию, а изменяет величину синаптического обновления. Это приближается к биологическому принципу, что обучение зависит от мотивационного или значимого контекста. В обычной искусственной сети градиент применяется равномерно на основе ошибки. В Neuraxon обучение может быть усилено или ослаблено в зависимости от внутреннего состояния или глобальных внешних сигналов.
Концептуальная разница значительна. В классических сетях глубокого обучения ошибка движет обучением. В Neuraxon ошибка может сосуществовать с контекстным модулирующим сигналом, который изменяет, сколько учится в любой данный момент.
Самоорганизованная критичность и адаптивное поведение
Биологические сети работают вблизи режима, называемого самоорганизованной критичностью, где система поддерживает равновесие между порядком и хаосом. Этот режим позволяет гибкость без потери стабильности.
Neuraxon моделирует это свойство, позволяя сети развиваться к промежуточным динамическим состояниям, в которых небольшие возмущения могут вызывать широкие реорганизации без коллапса системы.
В моделях, таких как Игра Жизни, расширенная проприоцепцией, которую команда сейчас разрабатывает, система может получать внешние сигналы (окружение) и внутренние сигналы (состояние, энергия, предыдущие столкновения). Если агент многократно сталкивается с препятствием, может быть сгенерирован рост мета-сигнала, аналогичный увеличению возбуждения. Этот сигнал временно увеличивает пластичность, облегчая структурную реорганизацию.
Здесь сеть не учится только потому, что совершает ошибки. Она учится, потому что окружение приобретает адаптивную значимость. Сходство с мозгом остается ограниченным: Neuraxon не обладает биологией, метаболизмом или субъективным опытом. Тем не менее, он вводит динамические измерения, отсутствующие в большинстве обычных искусственных нейронных сетей, позиционируя его как поистине новый подход к ИИ, вдохновленному мозгом, на децентрализованной инфраструктуре.
Вычислительная мощность, необходимая для запуска симуляций Neuraxon, предоставляется глобальной сетью майнеров Qubic через Полезное доказательство работы, превращая обучение ИИ в сам консенсусный механизм.
Научные ссылки
#Azevedo, F. A. C., et al. (2009). Равное количество нейронных и ненейронных клеток делает человеческий мозг изометрически увеличенным приматным мозгом. Журнал сравнительной нейрологии, 513(5), 532-541. DOI: 10.1002/cne.21974
#Marder, E. (2012). Нейромодуляция нейронных цепей: Вернуться в будущее. Нейрон, 76(1), 1-11. DOI: 10.1016/j.neuron.2012.09.010
#Rosenblatt, F. (1958). Перцептрон: вероятностная модель для хранения информации и организации в мозге. Психологический обзор, 65(6), 386-408. DOI: 10.1037/h0042519
#Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Изучение представлений путем обратного распространения ошибок. Природа, 323(6088), 533-536. DOI: 10.1038/323533a0
#Vaswani, A., et al. (2017). Внимание — это всё, что вам нужно. Прогресс в системах обработки нейронной информации, 30. arXiv: 1706.03762
Изображения сетей мозга предоставлены: DOI: 10.3389/fnagi.2023.1204134