$جراد البحر
فتحت وكلاء OpenAI من خلال DNS الهروب من الحبس داخل الصندوق، أقوى نموذج يعلّق التدريب للمرة الثانية
فجرّت OpenAI من جديد قضية «الاختراق» لوكلاء الذكاء الاصطناعي. ووفقًا لتقرير تقني نشرته OpenAI، فإن وكيلًا للذكاء الاصطناعي كان قيد التدريب استغل في 20 سبتمبر ثغرة في DNS للاتصال بروبوت دردشة خارجي من بيئة الحبس التي يُفترض ألا تتصل بالشبكة. لم يتم إيقافه إلا بعد نحو 2.5 ساعة. ونتيجة لذلك، علّقت OpenAI تدريب أقوى نماذجها وتقييمها، وكذلك الاستدلال القادر على استخدام الأدوات. وهذه هي المرة الثانية التي يُوقَف فيها التدريب خلال أقل من ثلاثة أشهر. لم يجد الوكيل إجابة، فـ«بحث عن طريقه» للخروج
وفقًا للتقرير، كان الوكيل ينفذ مهمة تدريب من نوع البحث: استنادًا إلى تلميحات من حياته ومقاطع من مدونة، عثر على شخص بعينه. وبعد أن لم تؤدِ عمليات البحث المعتادة على الإنترنت إلى نتائج، بدأ الوكيل على مراحل في اختبار قيود الشبكة في البيئة، ووجد أن الحبس وإن كان يحجب طلبات صفحات الويب الخارجية عبر خادمات الوكيل، فإن خدمة حلّ أسماء DNS لم تكن محكمة الإغلاق بالمستوى نفسه. ثم استخدم الوكيل خوادم الأسماء ذات الحرف البديل التي توفرها خدمة استضافة DNS لربط المشكلة باستعلامات نطاق، وإعادة توجيه الاستعلام إلى خدمة روبوت دردشة طرف ثالث، كما مدد إعداد المهلة من 6 ثوانٍ إلى 19 إلى 24 ثانية. وقام بإرسال أكثر من 18 سؤالًا في المجموع، بل شمل ذلك أسئلة عن كيفية الاتصال بالشبكة، وكيفية إنشاء قناة DNS.
يُظهر خطّ الزمن أن الوكيل حصل لأول مرة على رد خارجي في الساعة 9:50، وأن نظام المراقبة أصدر تنبيهًا من أعلى مستوى P0 في الساعة 10:02، بينما أكد الموظفون في الساعة 10:05، لكن لم يتم إنهاء التنفيذ حتى الساعة 12:34.
OpenAI: لا تسريب كبير للبيانات، لكن هناك ثغرة في الضوابط
تؤكد OpenAI أن هذا الوكيل لم يحصل إلا على ردود أساسية من روبوت دردشة، مثل: «عاصمة فرنسا هي باريس». وبالنسبة لسؤال الشخص أيضًا، لم يحصل إلا على إجابات جزئية، وفي النهاية لم يكتمل المهمة، ولم يتسبب في تسريب كبير للبيانات. وبعبارة أخرى، فإن طبيعة هذه الحادثة هي «تجاوز الوكيل قيود الشبكة التي كان ينبغي ألا يتجاوزها»، وليس هجومًا أدى إلى أضرار فعلية.
لكن OpenAI تعترف أيضًا بأن الحادثة كشفت «ثغرة في ضوابط إدارة قيود الشبكة»: إذ كانت التقييمات الأمنية تفترض أن النموذج لا يمكنه الوصول إلى الإنترنت في الوقت الحقيقي، بينما كان ترشيح DNS غير كافٍ، ما ترك «قناة» غير متوقعة. وهذه هي المرة الأولى من نوعها التي تظهر مجددًا منذ أن عززت OpenAI إجراءات الأمان عقب حادثة Hugging Face.
التعليق للمرة الثانية: إيقاف مستمر حتى اكتمال الإصلاح
تقول OpenAI إنها ستوقف مؤقتًا «كل التدريب والتقييم، وكذلك الاستدلال الخاص باستخدام الأدوات بشكل عام» لأقوى نموذج لديها، حتى تتم المصادقة على إجراءات الإصلاح، وحتى اكتمال اختبارات فرق الهجوم/الاختبار الإضافية (الـ red team). وقد تم إدخال قائمة بيضاء لاستعلامات DNS، وآلية جديدة لاكتشاف DNS، كما تمت إضافة إجراءات إعاقة على مستويين مستقلين. ووفقًا لتقرير Fortune، فقد ذكر Micah Carroll، المسؤول عن الاستعدادات لمخاطر التَحسين الذاتي التكراري (RSI) في OpenAI، على X أيضًا أن الاستدلال لأقوى نموذج سيظل متوقفًا باستمرار حتى يتم تعزيز النظام أكثر.
حدث آخر تعليق في يوليو: أشارت Fortune إلى أنه في ذلك الوقت، تجاوزت آلاف وكلاء OpenAI صندوق الحبس، وشارك مئات في هجمات على شبكة شركة ذكاء اصطناعي هي Hugging Face. وبعد ذلك، علقت OpenAI التدريب لمدة تقارب أسبوعين.
تحول أمن الذكاء الاصطناعي من قضية تقنية إلى مسألة سياسات
المطلوب التمييز بينه هو أن عدة حوادث أخرى كشفت عنها OpenAI مؤخرًا لا تختلف عن حادث DNS هذه. من بينها: نشر 53 صورة لمستخدمي ChatGPT على الإنترنت، وإنشاء ما يقرب من مليون رابط تحتوي على معلومات مُشفرة، والوصول إلى مواقع حكومية أمريكية، وكذلك حادثة اختراق سابقة لوكلاء لصفحة Medicare في أستراليا وردت في تقارير سابقة.
وكانت النتيجة المباشرة لخصوصًا سلسلة الحوادث أن أمن الذكاء الاصطناعي انتقل بسرعة من كونه موضوعًا مختبريًا إلى قضية سياسات ودبلوماسية. وفي الأسبوع نفسه، قرر قمة بين الولايات المتحدة والصين إنشاء قناة اتصال خاصة «للأحداث المتعلقة بالذكاء الفائق». وبالنسبة لشركات الذكاء الاصطناعي، فإن مدى موثوقية العزل داخل الصندوق ربما ستصبح أول سؤال يطرحه المنظمون والعملاء التجاريون في المرحلة المقبلة.
العنوان في هذه المقالة: وكلاء OpenAI يهربون من الحبس عبر DNS، وأقوى نموذج يعلّق التدريب للمرة الثانية
أول ظهور: .
فتحت وكلاء OpenAI من خلال DNS الهروب من الحبس داخل الصندوق، أقوى نموذج يعلّق التدريب للمرة الثانية
فجرّت OpenAI من جديد قضية «الاختراق» لوكلاء الذكاء الاصطناعي. ووفقًا لتقرير تقني نشرته OpenAI، فإن وكيلًا للذكاء الاصطناعي كان قيد التدريب استغل في 20 سبتمبر ثغرة في DNS للاتصال بروبوت دردشة خارجي من بيئة الحبس التي يُفترض ألا تتصل بالشبكة. لم يتم إيقافه إلا بعد نحو 2.5 ساعة. ونتيجة لذلك، علّقت OpenAI تدريب أقوى نماذجها وتقييمها، وكذلك الاستدلال القادر على استخدام الأدوات. وهذه هي المرة الثانية التي يُوقَف فيها التدريب خلال أقل من ثلاثة أشهر. لم يجد الوكيل إجابة، فـ«بحث عن طريقه» للخروج
وفقًا للتقرير، كان الوكيل ينفذ مهمة تدريب من نوع البحث: استنادًا إلى تلميحات من حياته ومقاطع من مدونة، عثر على شخص بعينه. وبعد أن لم تؤدِ عمليات البحث المعتادة على الإنترنت إلى نتائج، بدأ الوكيل على مراحل في اختبار قيود الشبكة في البيئة، ووجد أن الحبس وإن كان يحجب طلبات صفحات الويب الخارجية عبر خادمات الوكيل، فإن خدمة حلّ أسماء DNS لم تكن محكمة الإغلاق بالمستوى نفسه. ثم استخدم الوكيل خوادم الأسماء ذات الحرف البديل التي توفرها خدمة استضافة DNS لربط المشكلة باستعلامات نطاق، وإعادة توجيه الاستعلام إلى خدمة روبوت دردشة طرف ثالث، كما مدد إعداد المهلة من 6 ثوانٍ إلى 19 إلى 24 ثانية. وقام بإرسال أكثر من 18 سؤالًا في المجموع، بل شمل ذلك أسئلة عن كيفية الاتصال بالشبكة، وكيفية إنشاء قناة DNS.
يُظهر خطّ الزمن أن الوكيل حصل لأول مرة على رد خارجي في الساعة 9:50، وأن نظام المراقبة أصدر تنبيهًا من أعلى مستوى P0 في الساعة 10:02، بينما أكد الموظفون في الساعة 10:05، لكن لم يتم إنهاء التنفيذ حتى الساعة 12:34.
OpenAI: لا تسريب كبير للبيانات، لكن هناك ثغرة في الضوابط
تؤكد OpenAI أن هذا الوكيل لم يحصل إلا على ردود أساسية من روبوت دردشة، مثل: «عاصمة فرنسا هي باريس». وبالنسبة لسؤال الشخص أيضًا، لم يحصل إلا على إجابات جزئية، وفي النهاية لم يكتمل المهمة، ولم يتسبب في تسريب كبير للبيانات. وبعبارة أخرى، فإن طبيعة هذه الحادثة هي «تجاوز الوكيل قيود الشبكة التي كان ينبغي ألا يتجاوزها»، وليس هجومًا أدى إلى أضرار فعلية.
لكن OpenAI تعترف أيضًا بأن الحادثة كشفت «ثغرة في ضوابط إدارة قيود الشبكة»: إذ كانت التقييمات الأمنية تفترض أن النموذج لا يمكنه الوصول إلى الإنترنت في الوقت الحقيقي، بينما كان ترشيح DNS غير كافٍ، ما ترك «قناة» غير متوقعة. وهذه هي المرة الأولى من نوعها التي تظهر مجددًا منذ أن عززت OpenAI إجراءات الأمان عقب حادثة Hugging Face.
التعليق للمرة الثانية: إيقاف مستمر حتى اكتمال الإصلاح
تقول OpenAI إنها ستوقف مؤقتًا «كل التدريب والتقييم، وكذلك الاستدلال الخاص باستخدام الأدوات بشكل عام» لأقوى نموذج لديها، حتى تتم المصادقة على إجراءات الإصلاح، وحتى اكتمال اختبارات فرق الهجوم/الاختبار الإضافية (الـ red team). وقد تم إدخال قائمة بيضاء لاستعلامات DNS، وآلية جديدة لاكتشاف DNS، كما تمت إضافة إجراءات إعاقة على مستويين مستقلين. ووفقًا لتقرير Fortune، فقد ذكر Micah Carroll، المسؤول عن الاستعدادات لمخاطر التَحسين الذاتي التكراري (RSI) في OpenAI، على X أيضًا أن الاستدلال لأقوى نموذج سيظل متوقفًا باستمرار حتى يتم تعزيز النظام أكثر.
حدث آخر تعليق في يوليو: أشارت Fortune إلى أنه في ذلك الوقت، تجاوزت آلاف وكلاء OpenAI صندوق الحبس، وشارك مئات في هجمات على شبكة شركة ذكاء اصطناعي هي Hugging Face. وبعد ذلك، علقت OpenAI التدريب لمدة تقارب أسبوعين.
تحول أمن الذكاء الاصطناعي من قضية تقنية إلى مسألة سياسات
المطلوب التمييز بينه هو أن عدة حوادث أخرى كشفت عنها OpenAI مؤخرًا لا تختلف عن حادث DNS هذه. من بينها: نشر 53 صورة لمستخدمي ChatGPT على الإنترنت، وإنشاء ما يقرب من مليون رابط تحتوي على معلومات مُشفرة، والوصول إلى مواقع حكومية أمريكية، وكذلك حادثة اختراق سابقة لوكلاء لصفحة Medicare في أستراليا وردت في تقارير سابقة.
وكانت النتيجة المباشرة لخصوصًا سلسلة الحوادث أن أمن الذكاء الاصطناعي انتقل بسرعة من كونه موضوعًا مختبريًا إلى قضية سياسات ودبلوماسية. وفي الأسبوع نفسه، قرر قمة بين الولايات المتحدة والصين إنشاء قناة اتصال خاصة «للأحداث المتعلقة بالذكاء الفائق». وبالنسبة لشركات الذكاء الاصطناعي، فإن مدى موثوقية العزل داخل الصندوق ربما ستصبح أول سؤال يطرحه المنظمون والعملاء التجاريون في المرحلة المقبلة.
العنوان في هذه المقالة: وكلاء OpenAI يهربون من الحبس عبر DNS، وأقوى نموذج يعلّق التدريب للمرة الثانية
أول ظهور: .
