ظهر TACO للتو على arXiv، ويعالج أحد أشد اختناقات الذاكرة في الضبط الدقيق لنماذج اللغة الكبيرة: حالات المُحسِّن.
ينشغل معظم الناس بمعلمات النموذج، لكن حالات المُحسِّن (مثل مخازن الزخم وتقديرات التباين في Adam) قد تستهلك ذاكرة تعادل ضعفين إلى ثلاثة أضعاف ذاكرة المعلمات. وهذا عبء هائل لنموذج بحجم 7B.
يعتمد TACO على تكميم ثلاثي القيم لحالات المُحسِّن. فبدلًا من تخزين قيم كاملة بدقة float32/bfloat16، تُضغط إلى تمثيلات من المجموعة {-1, 0, +1}. وتزعم الورقة أنه يمكن الحفاظ على جودة التقارب مع تقليص الذاكرة الإضافية التي يستهلكها المُحسِّن بشكل كبير.
وهذا مهم لأنه:
- يتيح ضبط نماذج أكبر بدقة على الأجهزة نفسها
- يقلل الضغط على عرض نطاق الذاكرة أثناء التدريب
- قد يجعل إعدادات وحدات معالجة الرسوميات المتعددة أكثر كفاءة، عبر تقليل تكاليف مزامنة حالات المُحسِّن
إذا كنت تستخدم LoRA أو QLoRA أو الضبط الدقيق الكامل، وتواجه باستمرار أخطاء نفاد الذاكرة (OOM)، فقد تمنحك هذه التقنية مساحة الذاكرة الإضافية التي تحتاج إليها. والاختبار الحقيقي هو مدى نجاحها مع بُنى نماذج وأنواع مهام مختلفة.
ينشغل معظم الناس بمعلمات النموذج، لكن حالات المُحسِّن (مثل مخازن الزخم وتقديرات التباين في Adam) قد تستهلك ذاكرة تعادل ضعفين إلى ثلاثة أضعاف ذاكرة المعلمات. وهذا عبء هائل لنموذج بحجم 7B.
يعتمد TACO على تكميم ثلاثي القيم لحالات المُحسِّن. فبدلًا من تخزين قيم كاملة بدقة float32/bfloat16، تُضغط إلى تمثيلات من المجموعة {-1, 0, +1}. وتزعم الورقة أنه يمكن الحفاظ على جودة التقارب مع تقليص الذاكرة الإضافية التي يستهلكها المُحسِّن بشكل كبير.
وهذا مهم لأنه:
- يتيح ضبط نماذج أكبر بدقة على الأجهزة نفسها
- يقلل الضغط على عرض نطاق الذاكرة أثناء التدريب
- قد يجعل إعدادات وحدات معالجة الرسوميات المتعددة أكثر كفاءة، عبر تقليل تكاليف مزامنة حالات المُحسِّن
إذا كنت تستخدم LoRA أو QLoRA أو الضبط الدقيق الكامل، وتواجه باستمرار أخطاء نفاد الذاكرة (OOM)، فقد تمنحك هذه التقنية مساحة الذاكرة الإضافية التي تحتاج إليها. والاختبار الحقيقي هو مدى نجاحها مع بُنى نماذج وأنواع مهام مختلفة.