Источник перепечатки статьи: Тенденция ИИ.
Оригинал: Открытое сообщество AIGC
Массачусетский технологический институт и Китайский университет Гонконга совместно выпустили LongLoRA — новый метод тонкой настройки, который может улучшить контекстуальные возможности больших языковых моделей без потребления большого количества вычислительных ресурсов.
Как правило, если вы хотите расширить возможности обработки контекста большой языковой модели, вам нужна поддержка большей вычислительной мощности. Например, увеличение длины контекста с 2048 до 8192 требует в 16 раз больше вычислительной мощности.
LongLoRA был протестирован на модели с открытым исходным кодом LLaMA2 7B/13B/70B, которая увеличила исходную длину контекста до 32 КБ, 64 КБ и 100 КБ, что потребовало очень небольших вычислительных ресурсов.
Адрес с открытым исходным кодом: https://github.com/dvlab-research/LongLoRA
Адрес статьи: https://arxiv.org/abs/2309.12307
Эффективный метод тонкой настройки для LongLoRA
Согласно исследованию LongLoRA, для достижения эффективной тонкой настройки были использованы два основных этапа. Во-первых, в ходе обучения использовалась более простая форма внимания (фокусировка на конкретной информации), которую разработчики назвали смещенным кратковременным вниманием (S2-Attn).
Этот новый метод внимания помогает сэкономить много вычислительной мощности и почти так же эффективен, как и обычный метод внимания, который играет важную роль в процессе обучения.
Во-вторых, они заново исследовали способ эффективного расширения контекста (объема информации, используемой для обучения). Разработчики обнаружили, что метод LoRA отлично подходит для этой цели, особенно при использовании обучаемых векторных представлений и нормализации.
LongLoRA показал отличные результаты при решении различных задач и может использоваться с моделями LLM разных размеров. Он позволяет увеличить объём данных, используемых для обучения, с 4 до 100 тысяч, а для другой модели — до 32 тысяч, и всё это на мощном компьютере. Кроме того, он обладает высокой совместимостью с другими существующими технологиями и не меняет исходную архитектуру модели.
Кроме того, чтобы сделать LongLoRA более практичным и эффективным, разработчики также собрали набор данных LongQA, содержащий более 3000 пар вопросов и ответов для обучения. Это позволяет LongLoRA эффективно улучшать выходные возможности больших языковых моделей.
Результаты исследования
В ходе исследования были оценены различные модели на наборах данных Proof-pile и PG19 и обнаружено, что во время обучения, по мере увеличения размера контекста, модель работала лучше, что демонстрирует эффективность ее метода тонкой настройки.
Короче говоря, обучение с большим количеством информации приведёт к лучшим результатам. Например, при увеличении размера контекстного окна с 8192 до 32768, показатель решимости модели повышается с 2,72 до 2,50.
В исследовании также изучалось, какой объём контекста эти модели могут обработать на одной машине. Разработчики масштабировали модель для обработки очень длинных контекстов и обнаружили, что она по-прежнему хорошо работает, хотя производительность немного снижается при уменьшении размера контекста.
Помимо моделирования языка, в исследовании также тестировались другие задачи, включая поиск конкретных тем в очень длинных диалогах. Модель разработчика показала схожие результаты с современными моделями, а в некоторых случаях даже превзошла их. Стоит отметить, что модель разработчика смогла адаптироваться к данным из открытых источников эффективнее конкурентов.
LongLoRA показывает, что чем больше информации может обработать большая модель, тем лучше она понимает язык. Кроме того, LongLoRA не только хорошо обрабатывает длинные тексты, но и отлично находит конкретные темы в долгих разговорах. Это показывает, что она способна справляться со сложными и запутанными задачами в реальном мире.
Однако из-за увеличенного контекстного окна у LongLoRA возникают проблемы с обработкой коротких фрагментов текста. Автор пока не нашёл причину этой проблемы.
В целом LongLoRA предлагает инновационные подходы в области больших языковых моделей, которые также могут упростить и сделать более эффективной тонкую настройку этих моделей при обработке больших объемов информации без необходимости потребления дополнительных вычислительных ресурсов.
Источником этой статьи является статья LongLoRA. Если вы обнаружили нарушение авторских прав, пожалуйста, свяжитесь с нами, чтобы мы удалили её.
