Для фильтрации данных тонкой настройки больших языковых моделей на этот раз взялись за градиенты. SimpleLoRIF — метод, предложенный в статье: он упрощает атрибуцию градиентов и распространяет их только на последние четыре слоя Transformer. Благодаря этому анализ градиентов, который раньше можно было проводить лишь на небольших выборках, теперь применим к датасетам для тонкой настройки с миллионами примеров.
Исследовательская команда использовала метод, чтобы удалить из Tulu 3 20% примеров, градиенты которых сильнее всего связаны с небезопасными ответами, и создать SafeTulu. Согласно аннотации, обучение на SafeTulu моделей Qwen, Llama и Olmo снижает успешность атак GCG максимум на 22%. Результаты превосходят оценку LLM-судей и предыдущие методы фильтрации по градиентам, а способности моделей в основном сохраняются и даже немного улучшаются.
Стоит обратить внимание на то, как выглядят удалённые данные: в аннотации упоминаются неудачное выполнение инструментов и повествовательные арифметические задачи. На первый взгляд в них нет ничего вредоносного, поэтому стандартная фильтрация контента с трудом их выявляет.
Препринт на arXiv; сведений о рецензировании не обнаружено. Приведённые выводы ограничены экспериментами, описанными в аннотации. SafeTulu и Hugging Face Space с настраиваемой долей удаляемых данных уже опубликованы.
$BTC
Исследовательская команда использовала метод, чтобы удалить из Tulu 3 20% примеров, градиенты которых сильнее всего связаны с небезопасными ответами, и создать SafeTulu. Согласно аннотации, обучение на SafeTulu моделей Qwen, Llama и Olmo снижает успешность атак GCG максимум на 22%. Результаты превосходят оценку LLM-судей и предыдущие методы фильтрации по градиентам, а способности моделей в основном сохраняются и даже немного улучшаются.
Стоит обратить внимание на то, как выглядят удалённые данные: в аннотации упоминаются неудачное выполнение инструментов и повествовательные арифметические задачи. На первый взгляд в них нет ничего вредоносного, поэтому стандартная фильтрация контента с трудом их выявляет.
Препринт на arXiv; сведений о рецензировании не обнаружено. Приведённые выводы ограничены экспериментами, описанными в аннотации. SafeTulu и Hugging Face Space с настраиваемой долей удаляемых данных уже опубликованы.
$BTC
