Источник перепечатки статьи: Модель эволюции.
Первоисточник: Кубиты
Источник изображения: создано Unbounded AI.
Необъяснимость нейронных сетей всегда была «давней проблемой» в области искусственного интеллекта.
Но теперь, кажется, мы добились некоторого прогресса...
Anthropic, компания, стоящая за Claude, сильнейшим конкурентом ChatGPT, использовала словарное обучение, чтобы успешно разложить около 500 нейронов на около 4000 интерпретируемых функций.
В частности, нейроны неинтерпретируемы, но после такого разложения Anthropic обнаружил, что каждый признак представляет собой разное значение, например, некоторые отвечают за последовательности ДНК, а некоторые представляют собой HTTP-запросы, юридические тексты и т. д., то есть Имеет интерпретируемость.
Искусственно стимулируя любую из этих функций, мы можем заставить модель давать ожидаемый результат.
Например, включение функции ДНК заставит модель выводить ДНК, а включение функции арабского текста заставит модель выводить текст на арабском языке.
Антропик взволнованно сказал:
Их подход, вероятно, преодолеет огромное препятствие необъяснимости ИИ. И как только мы поймем, как работают языковые модели, мы сможем легко судить, безопасна ли модель, и, следовательно, решать, следует ли ее принимать обществу и предприятиям.
Давайте посмотрим конкретно.
Разложение языковых моделей с помощью изучения словаря
Прежде всего, только для языковых моделей его неинтерпретируемость главным образом выражается в том, что большинство нейронов в сети являются «многозначными».
То есть они могут реагировать на множество несвязанных между собой вещей.
Например, нейрон в небольшой языковой модели будет демонстрировать сильную активацию для различного контента, такого как академические цитаты, разговоры на английском языке, HTTP-запросы, текст на корейском языке и т. д. одновременно.
Это не позволит нам понять конкретные функции и взаимодействия каждой небольшой части нейронной сети, что сделает невозможным сделать вывод о поведении всей сети.
Итак, что же является причиной многозначности?
Еще в прошлом году Anthropic предположила, что одним из потенциальных факторов является «суперпозиция».
Это относится к операции модели по сжатию множества несвязанных понятий в небольшое количество нейронов.
В то же время Anthropic также отметил, что изучение словаря — извлечение наиболее существенных особенностей вещей, что в конечном итоге позволяет нам приобретать новые знания, например, поиск по словарю, — является решением этой проблемы.
До этого они предложили игрушечную модель суперпозиции и доказали:
Если в обучающих данных мало набора функций, полезных для модели, нейронная сеть может естественным образом накапливаться во время обучения. На основе этой игрушечной модели они предложили три стратегии поиска разреженного и интерпретируемого набора признаков: первая — создать модель без суперпозиции, а затем активировать разреженность, поощряя ее;
Второй — использовать словарное обучение, чтобы найти сверхполную основу признаков в моделях, демонстрирующих суперпозицию;
Третий — смешать первые два метода.
Эксперименты доказали, что первого метода недостаточно для устранения многосемантики, а у второго метода есть серьезные проблемы с переобучением.
Итак, здесь команда использовала слабый алгоритм обучения словарю, называемый разреженным автокодировщиком.
Он способен генерировать изученные функции из обученной модели, обеспечивая единицу анализа, которая более семантически однородна, чем сами нейроны модели.
В целом, алгоритм основан на большом объеме предыдущих работ, особенно на использовании словарного обучения для активации нейронной сети и распутывания.
Получившийся кодер добился «убедительного успеха» в извлечении интерпретируемых функций из стека.
В частности, Anthropic использует однослойный преобразователь MLP с 512 нейронами, обучая разреженный автоэнкодер активации MLP с 8 миллиардами точек данных и, наконец, разлагает активации MLP на относительно интерпретируемые функции с коэффициентом расширения. Диапазон может вырасти от 1x (512 функций) до 256x (131072 функций).
Команда Anthropic сосредоточила весь свой анализ интерпретируемости на одном прогоне под названием A/1, который содержал в общей сложности 4096 функций, каждая из которых имела аннотированное значение, которое можно было активировать вручную по назначению.
Вот их визуализация:
Интегрированный выпуск подробного отчета, 7 ключевых выводов
Теперь Anthropic опубликовала все вышеперечисленные результаты в виде отчета.
Название доклада: «На пути к моносемантичности: разложение языковых моделей с помощью изучения словарей».
Статья очень длинная и разделена на четыре части, а именно:
Постановка задачи, мотивация исследования, а также преобразователь и разреженный автоэнкодер, которые они обучили.
Детальное исследование особенностей, «доказательство существования», показывает, что обнаруженные ими особенности действительно являются функционально специфическими причинными единицами.
Глобальный анализ показывает, что полученные характеристики поддаются интерпретации и способны объяснить значительную часть уровня MLP.
Феноменальный анализ описывает несколько атрибутов функций, включая разделимость функций, универсальность и т. д., а также то, как они образуют интересную систему, подобную «автоматам с конечным состоянием».
В целом можно сделать 7 ключевых выводов:
1. Мы можем использовать разреженные автокодировщики для извлечения относительно отдельных семантических функций, но большинство изученных функций относительно интерпретируемы.
2. Разреженные автоэнкодеры создают интерпретируемые функции, которые практически невидимы на нейронной основе.
3. Функция разреженного автоэнкодера может использоваться для вмешательства и управления генерацией преобразователя.
Например, активация функции Base64 приведет к тому, что модель будет генерировать текст Base64, а активация функции арабского текста будет генерировать текст на арабском языке.
4. Разреженные автоэнкодеры создают относительно общие функции. Фичи больше похожи друг на друга, чем на собственные модели нейронов (соответствующие разделу «Универсальность»).
5. Когда мы увеличиваем размер автоэнкодера, функции как будто «разделяются». Например, функция Base64 в маленьком словаре будет разделена на три в словаре большего размера, каждая из которых будет иметь более тонкое, но все же интерпретируемое значение (что соответствует разделу «Отделимость функций»).
6. Всего 512 нейронов могут представлять десятки тысяч функций.
7. Функции могут быть объединены в систему, подобную «конечному автомату», для выполнения сложных действий (например, генерации функций HTML).
Еще кое-что
В комментариях некоторые пользователи сети прокомментировали:
Нейроны подобны загадочному ящику, и работа Anthropic эквивалентна изучению того, как заглянуть в его содержимое.
Очевидно, что эта работа — только начало…
Anthropic также активизирует набор исследователей и инженеров, связанных с объяснимостью.
Если вы нажмете на нее, зарплата будет варьироваться от 250 000 долларов США (приблизительно 1,8 миллиона юаней) до 520 000 долларов США. Содержание исследования тесно связано с приведенным выше отчетом.
Ссылка на отчет: https://transformer-circuits.pub/2023/monosemantic-features/index.html.
Ссылка на ссылку: https://twitter.com/anthropicai/status/1709986949711200722