1688
Посты
橙子Joyce
·
--
Команда исследователей Apple провела раунд экспериментов по усилению обучения с 9 моделями и 11 языками, чтобы выяснить: если обучающие данные только на одном языке, можно ли применить выученные способности решать задачи к задачам на других языках?
Ответ: да, и эффект довольно заметный. Тренируя модель только на одном языке, она также становится сильнее во многих других языках.
Например, во французском тесте: если напрямую тренироваться на французском, средний результат повышается на 25,6 процентных пункта; если вообще не тренироваться на французском и вместо этого брать только задачи на испанском, то на финальном экзамене по французскому всё равно удаётся повысить результат на 24,6 процентных пункта — разница всего в 1 процентный пункт.
Модель учится не только решать задачи определённого языка, но и частично такие методы решения, которые можно переносить на другие языки и продолжать ими пользоваться. Поэтому, если в будущем захотим усилить китайские рассуждения модели, необязательно заново переделывать под китайский все данные для обучения с подкреплением.
Например, во французском тесте: если напрямую тренироваться на французском, средний результат повышается на 25,6 процентных пункта; если вообще не тренироваться на французском и вместо этого брать только задачи на испанском, то на финальном экзамене по французскому всё равно удаётся повысить результат на 24,6 процентных пункта — разница всего в 1 процентный пункт.
Модель учится не только решать задачи определённого языка, но и частично такие методы решения, которые можно переносить на другие языки и продолжать ими пользоваться. Поэтому, если в будущем захотим усилить китайские рассуждения модели, необязательно заново переделывать под китайский все данные для обучения с подкреплением.
Отказ от ответственности. Содержит мнения третьих сторон. Не является рекомендацией. Binance AI не предоставляет гарантий. См. Правила и условия.