По словам Университета Карнеги — Меллона, один из способов обучения ИИ может заменить четыре отдельных этапа, что позволит крупным лабораториям дешевле и проще создавать мощные чат-боты без потери производительности.

Главное

• В статье исследователи из Университета Карнеги — Меллона и их коллеги утверждают, что один алгоритм на основе правдоподобия может охватить предварительное обучение, промежуточное обучение, контролируемую тонкую настройку и обучение с подкреплением

• Исследователь Омар Сансевьеро опубликовал статью в X, а в аннотации на arXiv её называют рекомендуемой к прочтению

• В аннотации на arXiv говорится, что этот метод улучшил соотношение точности и вычислительных затрат, сохранив при этом более широкий спектр возможностей в ходе контролируемых испытаний и тестов в реальных условиях

• Авторы утверждают, что целевые функции обучения с подкреплением можно вывести как подгонку методом максимального правдоподобия к целевым распределениям, сгенерированным моделью

В субботу исследователь Омар Сансевьеро опубликовал статью в X, назвав её рекомендуемой к прочтению. В аннотации на arXiv говорится, что метод улучшил соотношение точности и вычислительных затрат, сохранив широкие возможности модели в контролируемых испытаниях и тестах в реальных условиях.

Университет Карнеги — Меллона — один из ведущих исследовательских вузов США. Его разработки в области машинного обучения часто ложатся в основу инструментов и теорий, которые впоследствии перенимают коммерческие ИИ-лаборатории. Главный тезис статьи не в том, что все этапы обучения исчезнут, а в том, что их можно описать в рамках одной математической схемы, а не отдельных целевых функций и программных стеков.

Университет Карнеги — Меллона превращает обучение в задачу планирования

Большинство крупных моделей по-прежнему обучают поэтапно.

Сначала во время предварительного обучения модели подают огромные массивы текстовых и графических данных. Затем её дорабатывают на более узких наборах данных в ходе промежуточного обучения или контролируемой тонкой настройки, а позже применяют обучение с подкреплением — метод, при котором вознаграждаются результаты, хорошо соответствующие заданному критерию.

В статье утверждается, что такое разделение — всего лишь привычка, а не закон.

Авторы пишут, что подходящие целевые функции обучения с подкреплением можно вывести как подгонку методом максимального правдоподобия к целевым распределениям, сгенерированным моделью. На практике это означает, что лаборатория может объединить статические наборы данных и сгенерированные моделью траектории в рамках одного процесса обучения, а затем сосредоточиться на том, какие данные включать в запуск, в каких пропорциях и на каком этапе.

Это важно, потому что разные этапы обучения часто приводят к дублированию инженерной работы.

Разные команды поддерживают разные конвейеры, контрольные точки и правила оценки. Если лаборатория меняет целевые функции в процессе обучения, она также рискует утратить ранее приобретённые способности или потратить дополнительные вычислительные ресурсы на их восстановление.

Читайте также: проверяемые вознаграждения становятся ключевым шагом за пределы RLHF в ведущих лабораториях

От поэтапных схем к единому тренеру

Эта идея появляется в момент, когда на ИИ-лаборатории всё сильнее давят, требуя обосновать, на что уходит каждый доллар, вложенный в обучение.

С ростом моделей дорожают отбор и подготовка данных, разработка систем вознаграждения и постобучение. Особенно заметно это стало после того, как обучение с подкреплением вышло за рамки узкоспециализированной работы по выравниванию моделей и стало обычным инструментом их настройки.

Это давление уже изменило то, как лаборатории говорят об обучении. За последний год разработчики моделей переключились с хвастовства числом параметров на эффективность затрат, качество токенов и результаты постобучения.

Эта статья отражает такой сдвиг: она рассматривает весь цикл обучения как задачу распределения ресурсов, а не как последовательность священных этапов.

Статья также выходит на фоне нескольких месяцев публичных споров о том, не стало ли постобучение важнее масштабирования предварительного обучения. Унифицированное обучение не разрешает этот спор, но предлагает более простой способ объединить оба подхода.

Как одно правило правдоподобия меняет обучение с подкреплением

В статье Университет Карнеги — Меллона и его коллеги рассматривают обучение с подкреплением как ещё один способ подогнать модель под целевое распределение, а не как отдельный набор приёмов обучения.

Это важное уточнение, поскольку при обучении моделей с подкреплением обычно генерируют ответы, оценивают их, а затем корректируют модель, чтобы она чаще выдавала ответы с высокими оценками.

По словам авторов, этот же цикл можно переписать в рамках максимального правдоподобия — того же широкого семейства методов, к которому относится стандартное обучение предсказанию следующего токена.

Для ИИ-лабораторий вроде Anthropic или OpenAI практическая ценность не в элегантности подхода, а в сокращении числа передач модели между этапами обучения.

Единый тренер может сократить число преобразований контрольных точек, интерфейсов моделей вознаграждения и хрупких границ между этапами, которые усложняют длительные запуски. Для инфраструктурных команд это может означать меньше дублирующегося ПО и более понятный путь к непрерывному обучению, при котором модель постоянно совершенствуется без полного сброса.

Теперь стоит следить за тем, начнут ли применять этот подход за пределами научной статьи.

Результат на arXiv — это исследовательское утверждение, а не внедрение в производство. Первое доказательство важности унифицированного обучения появится, если крупная лаборатория начнёт описывать свой стек постобучения в этих терминах или если инструментарии с открытым исходным кодом добавят смешанное обучение на статических данных и с подкреплением в качестве стандартного подхода.

Читайте далее: три ведущих ИИ-чатбота провели операцию на мозге мыши и каждый выбрал своё лечение