تقول جامعة كارنيجي ميلون إن إحدى طرق تدريب الذكاء الاصطناعي قد تحل محل أربع خطوات منفصلة، ما قد يجعل بناء روبوتات محادثة قوية أقل تكلفة وأسهل على المختبرات الكبرى، من دون التضحية بالأداء.

أهم النقاط

• جادلت ورقة بحثية من جامعة كارنيجي ميلون وباحثين متعاونين بأن خوارزمية واحدة قائمة على الاحتمالية يمكنها أن تشمل التدريب المسبق، والتدريب الوسيط، والضبط الدقيق المُشرف، والتعلّم المعزّز

• نشر الباحث عمر سانسيفييرو الورقة على منصة X، ووصفها ملخص arXiv بأنها قراءة موصى بها

• يقول ملخص arXiv إن الطريقة حسّنت المفاضلة بين الدقة والحوسبة، مع الحفاظ على قدرات أوسع في اختبارات مضبوطة واختبارات من العالم الحقيقي

• يرى المؤلفون أن أهداف التعلّم المعزز المناسبة يمكن اشتقاقها بوصفها مواءمةً بالاحتمال الأقصى لتوزيعات مستهدفة يولّدها النموذج

نشر الباحث عمر سانسيفييرو الورقة على منصة X يوم السبت، واصفًا إياها بأنها جديرة بالقراءة، ويشير ملخص arXiv الأساسي إلى أن الطريقة حسّنت المفاضلة بين الدقة وكلفة الحوسبة، مع الحفاظ على قدرات أوسع في الاختبارات المضبوطة والواقعية.

جامعة كارنيغي ميلون مؤسسة بحثية أمريكية رائدة، وغالبًا ما تسهم أبحاثها في تعلّم الآلة في تطوير الأدوات والنظريات التي تعتمدها لاحقًا مختبرات الذكاء الاصطناعي التجارية. ولا يتمثل الادعاء الأساسي للورقة في اختفاء كل مرحلة من مراحل التدريب، بل في إمكان جمع المراحل ضمن إطار رياضي واحد بدلًا من استخدام دوال أهداف منفصلة ومكدسات برمجية مستقلة.

جامعة كارنيغي ميلون تحوّل التدريب إلى عملية جدولة

لا تزال معظم النماذج الكبيرة تُدرَّب على مراحل.

تُدخل المختبرات أولًا مجموعات ضخمة من النصوص والصور إلى النموذج خلال مرحلة التدريب المسبق. ثم تضبطه باستخدام بيانات أضيق نطاقًا في مرحلة التدريب المتوسط أو الضبط الدقيق الخاضع للإشراف، وبعد ذلك تستخدم التعلّم المعزز، وهو أسلوب يكافئ المخرجات التي تحقق نتائج جيدة وفقًا لمعيار مستهدف.

ترى الورقة أن هذا الفصل عادةٌ متبعة، لا قاعدة ملزمة.

يكتب المؤلفون أن أهداف التعلّم المعزز المناسبة يمكن اشتقاقها بوصفها مواءمةً بالاحتمال الأقصى لتوزيعات مستهدفة يولّدها النموذج. وعمليًا، يعني ذلك أن المختبر يستطيع مزج مجموعات البيانات الثابتة وعمليات التنفيذ التي يولّدها النموذج داخل مدرّب واحد، ثم يركّز على تحديد البيانات التي تدخل في عملية التدريب، ونسبتها، وتوقيت استخدامها.

تكمن أهمية ذلك في أن مراحل التدريب كثيرًا ما تؤدي إلى تكرار الجهد الهندسي.

تتولى فرق مختلفة صيانة مسارات المعالجة ونقاط التحقق وقواعد التقييم المختلفة. وعندما يغيّر المختبر الأهداف في منتصف العملية، فإنه يخاطر أيضًا بفقدان قدرات سابقة أو بإنفاق حوسبة إضافية لاستعادتها.

اقرأ أيضًا: المكافآت القابلة للتحقق تدفع مختبرات الذكاء الاصطناعي الرائدة إلى خطوة حاسمة تتجاوز RLHF

من وصفات التدريب المرحلية إلى مدرّب واحد

تأتي هذه الفكرة في وقت تواجه فيه مختبرات الذكاء الاصطناعي ضغوطًا متزايدة لتبرير كيفية إنفاق كل دولار على التدريب.

جعلت النماذج الأكبر تنسيق البيانات وتصميم المكافآت والتدريب اللاحق أكثر كلفة، ولا سيما مع انتقال التعلّم المعزز من أعمال المواءمة المتخصصة إلى ضبط النماذج السائد.

وقد غيّرت هذه الضغوط بالفعل الطريقة التي تتحدث بها المختبرات عن التدريب. ففي العام الماضي، تحوّل صانعو النماذج من التفاخر بأعداد المعاملات إلى التركيز على كفاءة التكلفة وجودة الرموز ومكاسب التدريب اللاحق.

تنسجم هذه الورقة مع هذا التحول لأنها تتعامل مع دورة حياة التدريب بوصفها مشكلة تخصيص للموارد، لا سلسلة من المراحل المقدسة.

وتأتي الورقة أيضًا بعد أشهر من النقاش العلني حول ما إذا كان التدريب اللاحق قد أصبح أهم من توسيع نطاق التدريب المسبق الخام. لا يحسم التدريب الموحّد هذا الجدل، لكنه يشير إلى طريقة أكثر سلاسة للجمع بين الأمرين.

كيف تغيّر قاعدة احتمالية واحدة التعلّم المعزز

في الورقة، تتعامل جامعة كارنيغي ميلون وشركاؤها مع التعلّم المعزز بوصفه شكلًا آخر من مواءمة النموذج مع توزيع مستهدف، لا بوصفه مجموعة مستقلة من حيل التدريب.

وهذا تحديدًا ما يحدث لأن التعلّم المعزز في تدريب النماذج يعني عادةً توليد الإجابات وأخذ عينات منها، ثم تقييمها، وبعدها توجيه النموذج نحو السلوك الحاصل على درجات أعلى.

يقول المؤلفون إن هذه الحلقة نفسها يمكن إعادة صياغتها ضمن إطار الاحتمال الأقصى، وهو الإطار العام نفسه الذي يقوم عليه التدريب القياسي للتنبؤ بالرمز التالي.

بالنسبة إلى مختبرات الذكاء الاصطناعي مثل Anthropic أو OpenAI، لا تكمن الفائدة العملية في الأناقة، بل في تقليل عمليات تسليم التدريب بين الفرق.

يمكن لمدرّب واحد أن يقلل عدد مرات تحويل نقاط التحقق، وواجهات نماذج المكافأة، والحدود الهشّة بين المراحل التي تعقّد عمليات التشغيل الطويلة. وبالنسبة إلى فرق البنية التحتية، قد يعني ذلك تقليل تكرار البرمجيات وتوفير مسار أوضح نحو التعلّم المستمر، بحيث يواصل النموذج التحسن من دون إعادة ضبط كاملة.

ما ينبغي ترقبه لاحقًا هو اعتماد هذا النهج خارج نطاق الورقة البحثية.

ما توصلت إليه الورقة المنشورة على arXiv هو ادعاء بحثي، وليس إطلاقًا في بيئة الإنتاج. وسيأتي أول دليل على أهمية التدريب الموحّد إذا بدأت مختبرات كبرى تصف منظومة التدريب اللاحق لديها بهذه المصطلحات، أو إذا أضافت سلاسل أدوات مفتوحة المصدر التدريب المختلط بين الأساليب الثابتة والتعلّم المعزز نمطًا افتراضيًا.

اقرأ أيضًا: ثلاثة روبوتات دردشة رائدة في الذكاء الاصطناعي أجرت جراحة على أدمغة الفئران، واختار كل منها علاجًا مختلفًا