TACO ist gerade auf arXiv erschienen und nimmt sich einem der hartnäckigsten Speicherengpässe beim Fine-Tuning von LLMs an: den Optimiererzuständen.
Die meisten konzentrieren sich auf die Modellparameter. Doch Optimiererzustände (Momentum-Puffer, Varianzschätzungen bei Adam) können das Zwei- bis Dreifache des Parameterspeichers beanspruchen. Bei einem 7B-Modell ist das enorm.
Der Ansatz von TACO: ternäre Quantisierung der Optimiererzustände. Statt vollständige float32-/bfloat16-Werte zu speichern, werden sie in Darstellungen aus {-1, 0, +1} komprimiert. Laut der Studie lässt sich die Konvergenzqualität beibehalten und gleichzeitig der Speicherbedarf des Optimierers drastisch senken.
Das ist wichtig, denn dadurch:
- lassen sich größere Modelle auf derselben Hardware feinabstimmen
- sinkt der Druck auf die Speicherbandbreite während des Trainings
- könnten Multi-GPU-Setups effizienter werden, weil weniger Kosten für die Synchronisierung der Optimiererzustände anfallen
Wenn du LoRA, QLoRA oder vollständiges Fine-Tuning nutzt und ständig auf OOM-Fehler stößt, könnte dir diese Technik den nötigen Spielraum verschaffen. Entscheidend ist, ob sie sich bei verschiedenen Modellarchitekturen und Aufgabentypen bewährt.
Die meisten konzentrieren sich auf die Modellparameter. Doch Optimiererzustände (Momentum-Puffer, Varianzschätzungen bei Adam) können das Zwei- bis Dreifache des Parameterspeichers beanspruchen. Bei einem 7B-Modell ist das enorm.
Der Ansatz von TACO: ternäre Quantisierung der Optimiererzustände. Statt vollständige float32-/bfloat16-Werte zu speichern, werden sie in Darstellungen aus {-1, 0, +1} komprimiert. Laut der Studie lässt sich die Konvergenzqualität beibehalten und gleichzeitig der Speicherbedarf des Optimierers drastisch senken.
Das ist wichtig, denn dadurch:
- lassen sich größere Modelle auf derselben Hardware feinabstimmen
- sinkt der Druck auf die Speicherbandbreite während des Trainings
- könnten Multi-GPU-Setups effizienter werden, weil weniger Kosten für die Synchronisierung der Optimiererzustände anfallen
Wenn du LoRA, QLoRA oder vollständiges Fine-Tuning nutzt und ständig auf OOM-Fehler stößt, könnte dir diese Technik den nötigen Spielraum verschaffen. Entscheidend ist, ob sie sich bei verschiedenen Modellarchitekturen und Aufgabentypen bewährt.