Pour filtrer les données de fine-tuning des grands modèles, cette méthode s’intéresse cette fois aux gradients. SimpleLoRIF est une méthode proposée dans un article : elle simplifie l’attribution des gradients en ne les rétropropageant que jusqu’aux quatre dernières couches du Transformer. Ainsi, l’analyse des gradients, auparavant limitée à de petits volumes, peut traiter des jeux de données de fine-tuning contenant des millions d’échantillons.
L’équipe de recherche l’a utilisée pour retirer de Tulu 3 les 20 % d’échantillons dont les gradients étaient les plus associés à des réponses non sécurisées, créant ainsi SafeTulu. D’après le résumé, l’entraînement avec SafeTulu sur Qwen, Llama et Olmo réduit le taux de réussite des attaques GCG jusqu’à 22 %. Les résultats dépassent ceux obtenus avec un juge LLM et les méthodes de filtrage par gradient antérieures, tandis que les capacités du modèle sont globalement préservées, voire légèrement améliorées.
Il est intéressant de regarder à quoi ressemblent les données retirées : le résumé mentionne les échecs d’exécution d’outils et les problèmes d’arithmétique formulés sous forme de récit. À première vue, ces contenus ne semblent pas nuisibles, et les filtres de contenu classiques ont du mal à les détecter.
Prépublication sur arXiv, sans évaluation par les pairs à notre connaissance ; les conclusions ci-dessus se limitent aux expériences présentées dans le résumé. SafeTulu et un espace Hugging Face permettant de personnaliser la proportion d’échantillons à retirer sont disponibles.
$BTC
L’équipe de recherche l’a utilisée pour retirer de Tulu 3 les 20 % d’échantillons dont les gradients étaient les plus associés à des réponses non sécurisées, créant ainsi SafeTulu. D’après le résumé, l’entraînement avec SafeTulu sur Qwen, Llama et Olmo réduit le taux de réussite des attaques GCG jusqu’à 22 %. Les résultats dépassent ceux obtenus avec un juge LLM et les méthodes de filtrage par gradient antérieures, tandis que les capacités du modèle sont globalement préservées, voire légèrement améliorées.
Il est intéressant de regarder à quoi ressemblent les données retirées : le résumé mentionne les échecs d’exécution d’outils et les problèmes d’arithmétique formulés sous forme de récit. À première vue, ces contenus ne semblent pas nuisibles, et les filtres de contenu classiques ont du mal à les détecter.
Prépublication sur arXiv, sans évaluation par les pairs à notre connaissance ; les conclusions ci-dessus se limitent aux expériences présentées dans le résumé. SafeTulu et un espace Hugging Face permettant de personnaliser la proportion d’échantillons à retirer sont disponibles.
$BTC
