أضافت Amazon Web Services نظام مشاركة الشرائح من Nvidia إلى SageMaker، ما يتيح تشغيل عدة نماذج على نقطة نهاية واحدة باستخدام شريحة رسوميات واحدة في الوقت نفسه، الأمر الذي قد يخفض تكلفة كل طلب.
أهم النقاط
يدعم SageMaker Inference الآن تقسيمات وحدات معالجة الرسومات متعددة المثيلات (MIG) من Nvidia، ما يتيح لنماذج مختلفة على نقطة نهاية واحدة مشاركة مسرّع واحد
أضافت AWS حقلين اختياريين إلى واجهة API للسماح للعملاء بوضع نقطة نهاية على وحدة معالجة رسومات كاملة أو على شريحة محددة من MIG
تمنح تقسيمات MIG كل شريحة ذاكرةً ومواردَ حوسبة خاصة بها، لتوفير موارد معزولة على مستوى العتاد
يمكن أن يؤدي تجميع أحمال العمل المتنوعة على مسرّع واحد إلى رفع مستوى الاستخدام وخفض تكلفة الطلب الواحد في مجموعات أنظمة الاستدلال
قالت AWS في تدوينة يوم الجمعة إن SageMaker Inference يدعم الآن وحدات GPU متعددة المثيلات لنقاط نهاية النماذج. وتصف إنفيديا تقنية MIG بأنها تقسيم عتادي يحوّل وحدة GPU فعلية واحدة إلى عدة مثيلات معزولة.
تدير Amazon Web Services البنية التحتية السحابية ومنتجات التعلم الآلي، وSageMaker Inference نظامها المُدار لتقديم النماذج عبر نقاط نهاية الإنتاج.
يستهدف هذا الدعم الجديد مشكلة اقتصادية أساسية في تقديم خدمات الذكاء الاصطناعي: فكثيرًا ما لا تستخدم النماذج الصغيرة والمتوسطة وحدة GPU حديثة بكامل طاقتها.
وحدة GPU واحدة، ومزيد من الأعمال المدفوعة
توفر نقطة النهاية المخصصة أداءً يمكن التنبؤ به للنموذج، لكنها قد تترك أيضًا موارد حوسبة باهظة الثمن معطلة. فإذا لم يحتج النموذج إلا إلى جزء من وحدة GPU، يظل الجزء غير المستخدم محجوزًا وتُحتسب تكلفته.
تغيّر MIG ذلك عبر تقسيم الشريحة على مستوى العتاد. ويحصل كل جزء على حصته الخاصة من الذاكرة والقدرة الحاسوبية، ما يتيح لنموذج صغير مشاركة وحدة GPU مع نموذج آخر من دون اللجوء إلى حيل المشاركة البرمجية فقط.
تكتسب هذه الميزة أهمية خاصة لمجموعات أنظمة الاستدلال التي تشغّل أحمال عمل متنوعة. فقد تقدم شركة خدمات روبوت محادثة ومصنّفًا ونموذج تضمين في الوقت نفسه، ولكل منها أنماط مختلفة لحركة المرور.
يمكن أن يؤدي تجميعها على مسرّع واحد إلى رفع مستوى الاستخدام وخفض تكلفة الطلب الواحد.
من سباق التدريب إلى هوامش الربح من تقديم الخدمات
أمضى سوق الذكاء الاصطناعي عامين يتحدث عن شراء مزيد من وحدات GPU. أما التنافس التالي فيدور حول تحقيق إيرادات أكبر من وحدات GPU الموجودة بالفعل في الخوادم.
الاستدلال، لا التدريب، هو المجال الذي تتحول فيه فواتير كثير من الخدمات السحابية إلى تكاليف تشغيلية متكررة.
اقرأ أيضًا: أمازون تقول إن حيلة جديدة في الذاكرة قد تقلل تكاليف روبوتات المحادثة
يأتي تحديث يوم الجمعة ضمن تحول أوسع في بنية الخدمات السحابية. فبدلًا من افتراض تشغيل نموذج كبير واحد على كل مسرّع، يعمل مزودو الخدمات على تهيئة الأنظمة للتعامل مع التجزئة والعزل والجدولة.
قد تكون هذه المشكلات أقل إثارة، لكنها هي التي تحدد ما إذا كانت منتجات الذكاء الاصطناعي قادرة على الحفاظ على هوامش الربح عند التوسع.
لم تربط AWS هذه الميزة بعائلة نماذج بعينها، ما يجعلها ذات صلة واسعة بالفرق التي تنشر نماذج الصور أو نماذج اللغة الأصغر أو الأنظمة المتخصصة بمهام محددة، والتي لا تبرر تخصيص شريحة متطورة لها وحدها.
كيف تستخدم SageMaker وحدات GPU متعددة المثيلات من إنفيديا
تدير SageMaker Inference الخوادم التي تستجيب لطلبات النماذج بعد انتهاء التدريب. ونقطة نهاية النموذج هي الخدمة المباشرة التي تستقبل المطالبات أو البيانات وتعيد التنبؤات. وعند تفعيل MIG، تستطيع AWS تخصيص جزء محدد من وحدة GPU متوافقة من إنفيديا لأحد مكونات الاستدلال، بدلًا من تخصيص الوحدة بأكملها.
يتمثل التغيير الأساسي في العزل على مستوى العتاد.
يمكن لجدولة برمجية أن تتيح المشاركة الزمنية لوحدة GPU، لكن يظل بإمكان حمل عمل كثيف أن يتداخل مع حمل آخر. أما MIG فيقسّم الموارد قبل تشغيل المهام، بحيث يحصل كل جزء على سعة وذاكرة محجوزتين.
وهذا يسهّل فهم زمن الاستجابة ونطاق الأعطال.
بالنسبة إلى الشركات الناشئة وفرق المنصات الداخلية، لا تقتصر الفائدة على خفض التكلفة؛ إذ تسهّل MIG أيضًا مواءمة العتاد مع حجم حمل العمل.
لم يعد على نموذج خفيف للإشراف على المحتوى أن يعمل منفردًا على فئة المسرّعات نفسها المستخدمة لتشغيل أنظمة أكبر بكثير.
التعقيد التشغيلي وقرارات توزيع الأحمال
يمكن لتقسيم وحدات GPU أن يقلل الهدر، لكنه يضيف أيضًا خيارات لتوزيع الأحمال. يتعين على الفرق الآن تحديد متى تستخدم وحدة GPU كاملة، ومتى تستخدم جزءًا منها، وكيف تعيد موازنة الأحمال مع تغير حركة المرور.
وهذا يجعل قابلية الرصد مهمة.
إذا تجاوزت نقطة نهاية احتياجات الجزء المخصص لها، فسيزداد زمن الاستجابة وتختفي جدوى التوفير. وستنجح الإعدادات التي تربط بين حجم النموذج وحركة المرور وسياسة التقسيم، من دون إجبار المهندسين على إدارة كل نقطة نهاية يدويًا.
اقرأ التالي: إنفيديا تقول إن 8,000 مؤسسة تستخدم الآن أدواتها البحثية في تقنية 6G