أسندت OpenAI إلى وكلائها من الذكاء الاصطناعي مهمة معالجة حالات التباطؤ في ChatGPT، وخلال ما يزيد قليلًا على ثلاثة أشهر، أجروا أكثر من 1,700 تحقيق وحددوا السبب في أكثر من 600 حالة منها.

أبرز النقاط

  • Performance Factory هو النظام الداخلي لدى OpenAI لتشغيل سير عمل هندسة الأداء المعتمد على الوكلاء

  • يفتح سير عمل معالجة حالات التراجع مهمة عند صدور تنبيه بشأن الأداء، ثم يحقق في التباطؤ، ويقترح إصلاحًا لمراجعته من قِبل المهندس، ويتحقق مما إذا كان الأداء قد عاد إلى مستواه الأساسي بعد النشر

  • قالت OpenAI إن سير عمل تحليل التراجعات تتبّع أكثر من 1,700 تحقيق وحدّد الأسباب الجذرية لأكثر من 600 حالة خلال ما يزيد قليلًا على ثلاثة أشهر

  • في مراجعة يدوية لـ100 اقتراح لتحديد السبب الجذري، صنّفت OpenAI نسبة 70% منها على أنها دقيقة

قالت OpenAI إنها أنشأت Performance Factory لأن هندسة الأداء التقليدية لم تستطع مواكبة وتيرة التطوير القائم على الوكلاء. ووصفت الشركة النظام بأنه مستقل يعمل في السحابة ويؤتمت التحقيق في مشكلات الأداء وحلّها.

يقول المنشور إن النظام تطوّر عبر عدة مراحل، بدءًا من التحقيقات اليدوية، مرورًا بتصحيح الأخطاء بمساعدة Codex، ثم المهارات المشتركة مثل perf-forensics، وصولًا إلى مسارات عمل مؤتمتة يمكن أن تبدأ عند صدور تنبيه.

كيف نقلت OpenAI أعمال الأداء إلى مسارات العمل

قالت OpenAI إنه قبل Codex، كان المهندسون يفحصون المقاييس والسجلات يدويًا، ويقارنون آثار التتبّع، ويصححون الأخطاء على الأجهزة الحية، ويقرأون الشيفرة البرمجية للتحقيق في حالات التباطؤ. وبمرور الوقت، أنشأ الفريق أكثر من 30 أداة للأداء للمساعدة في معالجة المشكلات المتكررة.

قالت OpenAI إن Codex أصبح بعد ذلك شريكًا في هذه التحقيقات. إذ أمكن للمهندسين سؤاله عن سبب تباطؤ شيء ما، والبحث في قواعد الشيفرة، وفحص المقاييس وآثار التتبّع، ومتابعة التفاعلات بين الخدمات، لكنهم ظلوا بحاجة إلى توجيه العملية.

لأتمتة المزيد من هذا العمل، أنشأت OpenAI مهارة مشتركة باسم perf-forensics. وقالت الشركة إنها تبيّن لـCodex الأدوات المتاحة، ومتى ينبغي استخدامها، وكيفية التعامل مع حالات التباطؤ.

ثم نقلت OpenAI التحقيقات إلى السحابة، بحيث يمكن لتنبيه أن يبدأ جلسة Codex تلقائيًا. وتوسّع Performance Factory ذلك ليشمل مسارات عمل متكاملة تتتبّع كل مهمة، وتحتفظ بالنتائج المرتبطة بها، وتتيح انتقال العمل بين الوكلاء والمهندسين.

اقرأ أيضًا: OpenAI تمنح TensorWave صفقة بقدرة 457 ميغاواط للتشغيل على شرائح AMD

ما مكوّنات Performance Factory؟

قالت OpenAI إن النظام يتألف من أربعة أجزاء: متعقّب مهام بمسارات عمل قابلة للتهيئة، وحلقة توزيع تُسنِد الأعمال الجاهزة إلى الوكلاء، وواجهة برمجة تطبيقات تشغّل Codex في السحابة، واشتراكات توقظ الوكلاء عند حدوث تغيير ما.

يحدّد المهندسون مسارات العمل باستخدام ملفات إعدادات ومطالبات بصيغة Markdown. وقالت OpenAI إن خدمة المهام تتتبّع الحالات والانتقالات والخطوات التي تتطلب تدخل مهندس، بينما تعرض لوحة المعلومات المهام المفتوحة ومدى التقدم.

قالت الشركة إن واجهة برمجة التطبيقات الداخلية تشغّل دورات Codex ضمن شبكتها، مع إمكانية الوصول إلى مستودعات الشيفرة وأدوات الرصد، مثل المقاييس والسجلات وآثار التتبّع وملفات تعريف استخدام وحدة المعالجة المركزية ولقطات الذاكرة.

عندما يتعين على العمل انتظار شيء مثل تعليق على مراجعة، أو إخفاق فحص آلي للشيفرة، أو عملية نشر، يمكن للنظام الاشتراك في ذلك الحدث وإيقاظ المهمة عندما تصبح جاهزة للمتابعة.

كيف يعمل سير عمل تحليل التراجعات

قالت OpenAI إن أول سير عمل ضمن Performance Factory هو سير عمل تحليل التراجعات. فعندما يصدر تنبيه أداء مُهيّأ، تُفتح مهمة تمر بمراحل مثل «بحاجة إلى تحقيق» و«تحديد السبب الجذري» و«اقتراح إصلاح» و«تم الحل».

للعثور على السبب، يفحص الوكيل المقاييس التي تراجعت، ووقت تغيّرها، والطلبات المتأثرة. وقالت OpenAI إنها أضافت أيضًا مراجعة خصومية، وهي جلسة Codex منفصلة تحاول دحض التشخيص المقترح.

قدّمت OpenAI مثالًا من تحقيق في ChatGPT. ربط أحد الوكلاء المحادثات التي أخفقت بأخطاء في تنزيل الصور، لكن أحد المراجعين وجد أن التشخيص لا يفسر استمرار الإخفاقات بعد تعافي خدمة داخلية لمواقع الملفات، لذا أُعيد فتح التحقيق.

بعد اجتياز التشخيص للمراجعة، يستطيع Codex تنفيذ إصلاح وفتح طلب دمج ليراجعه أحد المهندسين. وبعد النشر، يتحقق وكيل آخر مما إذا كان الأداء قد عاد إلى مستواه الأساسي السابق. وإذا عاد، تُعلَّم المهمة على أنها محلولة.

مقياس Performance Factory | ما أفادت به OpenAI: مدة التشغيل: ما يزيد قليلًا على ثلاثة أشهر؛ تحقيقات التباطؤ المتتبَّعة: أكثر من 1,700؛ الأسباب المكتشفة: أكثر من 600؛ الدقة في فحص يدوي لـ100 تشخيص: صُنّف 70% منها على أنها دقيقة؛ أدوات الأداء التي بُنيت قبل الوكلاء: أكثر من 30

المصدر: منشور هندسي لـOpenAI.

ما الذي ينبغي ترقّبه لاحقًا؟

تُفسَّر نسبة 70% على وجهين. فهي تعني أن الوكلاء توصّلوا إلى التشخيص الصحيح في معظم الحالات التي فحصتها OpenAI، لكنها تعني أيضًا أن نحو ثلاث حالات من كل عشر كانت خاطئة؛ ولهذا تحاول جلسة Codex ثانية دحض كل تشخيص، ولا يزال المهندس يراجع كل إصلاح قبل إطلاقه.

يتمثل التحول الأكبر في استخدام شركات الذكاء الاصطناعي ذكاءها الاصطناعي الخاص للحفاظ على تشغيل منتجاتها. وقالت OpenAI إنها تستطيع تحويل التحسينات الشائعة إلى مسارات عمل تُنفَّذ بانتظام عبر خدماتها، لذا تتمثل الخطوة التالية في وكلاء يبحثون عن سبل تسريع الأداء قبل أن يلاحظ المستخدمون أي تباطؤ.

ترقّب ما إذا كانت OpenAI ستتيح أدوات كهذه لعملاء Codex، الذين يواجهون المشكلة نفسها المتمثلة في الحفاظ على سرعة البرمجيات سريعة التغيّر.

اقرأ التالي: GPT-6.2 من OpenAI يتفوق على نسخته السابقة بتكلفة الثلث