O TACO acabou de ser publicado no arXiv e está enfrentando um dos gargalos de memória mais complicados do ajuste fino de LLMs: os estados do otimizador.
A maioria das pessoas se concentra nos parâmetros do modelo, mas os estados do otimizador (buffers de momentum e estimativas de variância no Adam) podem consumir de 2 a 3 vezes mais memória que os parâmetros. Para um modelo de 7B, isso pesa bastante.
A abordagem do TACO: quantização ternária dos estados do otimizador. Em vez de armazenar valores completos em float32/bfloat16, eles são comprimidos em representações {-1, 0, +1}. O artigo afirma que é possível manter a qualidade da convergência e, ao mesmo tempo, reduzir drasticamente o uso de memória do otimizador.
Isso é importante porque:
- Permite ajustar modelos maiores no mesmo hardware
- Reduz a pressão sobre a largura de banda da memória durante o treinamento
- Pode tornar as configurações com várias GPUs mais eficientes ao reduzir os custos de sincronização dos estados do otimizador
Se você usa LoRA, QLoRA ou ajuste fino completo e vive esbarrando em erros de falta de memória (OOM), essa técnica pode dar a folga de que precisa. O verdadeiro teste será saber se ela funciona bem com diferentes arquiteturas de modelo e tipos de tarefa.
A maioria das pessoas se concentra nos parâmetros do modelo, mas os estados do otimizador (buffers de momentum e estimativas de variância no Adam) podem consumir de 2 a 3 vezes mais memória que os parâmetros. Para um modelo de 7B, isso pesa bastante.
A abordagem do TACO: quantização ternária dos estados do otimizador. Em vez de armazenar valores completos em float32/bfloat16, eles são comprimidos em representações {-1, 0, +1}. O artigo afirma que é possível manter a qualidade da convergência e, ao mesmo tempo, reduzir drasticamente o uso de memória do otimizador.
Isso é importante porque:
- Permite ajustar modelos maiores no mesmo hardware
- Reduz a pressão sobre a largura de banda da memória durante o treinamento
- Pode tornar as configurações com várias GPUs mais eficientes ao reduzir os custos de sincronização dos estados do otimizador
Se você usa LoRA, QLoRA ou ajuste fino completo e vive esbarrando em erros de falta de memória (OOM), essa técnica pode dar a folga de que precisa. O verdadeiro teste será saber se ela funciona bem com diferentes arquiteturas de modelo e tipos de tarefa.