TACO baru saja dipublikasikan di arXiv dan mengatasi salah satu hambatan memori paling berat dalam fine-tuning LLM: state optimizer.
Kebanyakan orang berfokus pada parameter model, tetapi state optimizer (buffer momentum dan estimasi varians pada Adam) bisa menghabiskan memori 2–3 kali lebih besar daripada parameter. Untuk model 7B, ini sangat membebani.
Pendekatan TACO: kuantisasi ternary untuk state optimizer. Alih-alih menyimpan nilai float32/bfloat16 penuh, nilainya dikompresi menjadi representasi {-1, 0, +1}. Makalah ini mengklaim bahwa kualitas konvergensi dapat dipertahankan sambil memangkas penggunaan memori oleh optimizer.
Ini penting karena:
- Memungkinkan fine-tuning model yang lebih besar dengan perangkat keras yang sama
- Mengurangi tekanan pada bandwidth memori selama pelatihan
- Berpotensi membuat konfigurasi multi-GPU lebih efisien dengan mengurangi biaya sinkronisasi state optimizer
Jika Anda melakukan LoRA, QLoRA, atau fine-tuning penuh dan terus-menerus mengalami error OOM, teknik ini mungkin memberi Anda ruang yang dibutuhkan. Ujian sebenarnya adalah apakah teknik ini tetap efektif pada berbagai arsitektur model dan jenis tugas.
Kebanyakan orang berfokus pada parameter model, tetapi state optimizer (buffer momentum dan estimasi varians pada Adam) bisa menghabiskan memori 2–3 kali lebih besar daripada parameter. Untuk model 7B, ini sangat membebani.
Pendekatan TACO: kuantisasi ternary untuk state optimizer. Alih-alih menyimpan nilai float32/bfloat16 penuh, nilainya dikompresi menjadi representasi {-1, 0, +1}. Makalah ini mengklaim bahwa kualitas konvergensi dapat dipertahankan sambil memangkas penggunaan memori oleh optimizer.
Ini penting karena:
- Memungkinkan fine-tuning model yang lebih besar dengan perangkat keras yang sama
- Mengurangi tekanan pada bandwidth memori selama pelatihan
- Berpotensi membuat konfigurasi multi-GPU lebih efisien dengan mengurangi biaya sinkronisasi state optimizer
Jika Anda melakukan LoRA, QLoRA, atau fine-tuning penuh dan terus-menerus mengalami error OOM, teknik ini mungkin memberi Anda ruang yang dibutuhkan. Ujian sebenarnya adalah apakah teknik ini tetap efektif pada berbagai arsitektur model dan jenis tugas.