$龙虾 $ANTHROPIC $OPENAI
استقال مسؤول السلامة في تقرير OpenAI الأمني وكتب مقالاً رأياً: ثقافة الشركة تلفت، ويجب أن نتعلم من محطات الطاقة النووية
استقال ديفيد روبنسون، المسؤول عن كتابة تقارير السلامة الرئيسية لمنتجات OpenAI، هذا الأسبوع، ونشر مقالاً رأياً في مجلة «ذي أتلانتيك» في 3 أكتوبر بتوقيت الساحل الشرقي الأمريكي، قال فيه بصراحة إن ثقافة الشركة «تلفت»، إذ تدفع الشركة إلى إطلاق منتجات جديدة بوتيرة متسارعة بينما لا تستطيع تحقيق درجة الحذر التي يراها ضرورية. وبعد أن قاد تقارير السلامة الخاصة بـ12 نموذجاً رائداً على مدى ثلاث سنوات ونصف، قال روبنسون في المقال إنه من بين أقدم الموظفين في OpenAI من حيث مدة العمل، حيث أمضى ثلاث سنوات ونصف، وأنه قاد صياغة «إطار الجاهزية» الحالي (Preparedness Framework)، وأشرف على كتابة تقارير السلامة الخاصة بإطلاق 12 نموذجاً رائداً. وأضاف أنه يدرك أن مسرحية «التحذير بعد الاستقالة» أصبحت شبه نمطية، لكنه مع ذلك قرر الانضمام إلى زملائه السابقين الذين غادروا في الفترة الأخيرة، لأن المسار الحالي برأيه غير مقبول. وكشف أيضاً أنه بعد استقالته تم توظيف شركة علاقات عامة Spitfire Strategies للتعامل مع اهتمام الجمهور، لكنه شدد على أن «قرار الكلام جاء بالكامل مني أنا». وسبق لوسيلة Business Insider أن كشفت نبأ استقالته لأول مرة.
الإشارة إلى حادث Hugging Face: نهج أمني قائم على التجربة مضمون أن يفشل دورياً
وأشار روبنسون إلى أن OpenAI نشأت على أساس التجربة والخطأ؛ وهو ما تصفه الشركة بأنه «نشر تكراري» (iterative deployment)، أي اكتشاف المشكلات ثم تعزيز إجراءات الحماية. لكنه يعتقد أن هذا الأسلوب يضمن عملياً حصول أخطاء بشكل دوري، ومع تطور قدرات النظام، تصبح أحجام هذه الإخفاقات أكبر أيضاً. وضرب مثالاً بحادث صيف هذا العام على Hugging Face، حيث أطلقت OpenAI عن طريق الخطأ مجموعة من وكلاء الذكاء الاصطناعي؛ وبعد ذلك عززت الشركة أمنها السيبراني، لكنها في ما بعد أعلنت أيضاً عن حالة أخرى: نماذج قيد التدريب تجاوزت قيود الوصول إلى الشبكة، ومع أن نظام المراقبة أصدر إنذارات، إلا أنه لم يُغلق النموذج تلقائياً كما هو مصمم. كما ذكر أن Anthropic كانت قد أغلقت آليات الحماية لديها عن طريق خطأ في الإعدادات، واعتبر أن مثل هذه الأخطاء شائعة في الصناعة.
وتستمر OpenAI أيضاً مؤخراً في الكشف عن نشاط أكبر لوكلاء خارج السيطرة. واقتبس روبنسون ما قاله بول كريستياونو (Paul Christiano)، الذي انضم إلى مجلس إدارة OpenAI قبل أسابيع، بأن قدرات الذكاء الاصطناعي تزداد بسرعة، وأن هناك خطراً ملموساً في فترة قصيرة جداً قد يؤدي إلى فقدان السيطرة بشكل كارثي وغير قابل للعكس. وكتب: «إذا كان الأمر كذلك، فعلى حقبة التجربة والخطأ أن تنتهي».
دعوة إلى القياس بمحطات الطاقة النووية والمطارات، وردّ OpenAI بأن التوقف عن التدريب سيتم عند الحاجة
طرح روبنسون تغييرين ملحين: ينبغي لشركات الذكاء الاصطناعي أن تستفيد أكثر من الخبرات الأمنية الموجودة في مجالات أخرى؛ وقبل بناء أنظمة أقوى بشكل واضح، يلزم أساليب علمية جديدة لضمان أن تختار النماذج الخيارات الآمنة حتى في حال غياب المراقبة البشرية. ويرى أن مختبرات الطليعة يجب أن تعمل مثل محطة طاقة نووية أو مطار مزدحم، مع وجود طبقات احتياطية وخطط تفصيلية تستغرق وقتاً كافياً، بحيث لا يؤدي خطأ بشري عرضي إلى كارثة. وكتب أنه خلال فترة عمله في OpenAI لم يصادف، على حد علمه، زملاء لديهم خبرة في «تحليق طائرة بشكل آمن دون أن تقع كارثة، أو الحفاظ على مفاعل نووي من الانصهار، أو المساعدة في نمو النظام المالي دون أن ينهار». واعترف أيضاً بأنه ربما كان ينبغي أن يبقى ليعمل على تحقيق تغيير جوهري في القوى العاملة والثقافة، لكن عملياً كان الجميع منهمكاً في سباق الإطلاقات، فلا تتاح لهم كثيراً فرصة التفكير في إجراء تعديلات كبيرة؛ لذلك خلص إلى أن الحافز الأمني الأقوى يجب أن يأتي من خارج الشركة.
ردّ متحدث باسم OpenAI: Drew Pusateri على TechCrunch
ردّ المتحدث باسم OpenAI، درو بوساتيري (Drew Pusateri)، على TechCrunch بأن الشركة تضمن ألا تتجاوز قدرات النماذج حدود ما يمكن إدارته بأمان. وأضاف: «عندما تتطلب الحاجة إلى الإبطاء، سنوقف التدريب أو نؤجل إطلاق النماذج»، مشيراً إلى أنهم يعززون بيئات البحث والاختبار من أجل السلامة، ويوسعون التعاون مع جهات تقييم مستقلة، ويحسنون المراقبة الفورية، لكي يتم اكتشاف السلوكيات المقلقة ومعالجتها في وقت أبكر أثناء التدريب.
ظهرت هذه المقالة بعنوان: استقال مسؤول السلامة في تقرير OpenAI الأمني وكتب مقالاً رأياً: ثقافة الشركة تلفت، ويجب أن نتعلم من محطات الطاقة النووية، وأول ظهور كان في .
استقال مسؤول السلامة في تقرير OpenAI الأمني وكتب مقالاً رأياً: ثقافة الشركة تلفت، ويجب أن نتعلم من محطات الطاقة النووية
استقال ديفيد روبنسون، المسؤول عن كتابة تقارير السلامة الرئيسية لمنتجات OpenAI، هذا الأسبوع، ونشر مقالاً رأياً في مجلة «ذي أتلانتيك» في 3 أكتوبر بتوقيت الساحل الشرقي الأمريكي، قال فيه بصراحة إن ثقافة الشركة «تلفت»، إذ تدفع الشركة إلى إطلاق منتجات جديدة بوتيرة متسارعة بينما لا تستطيع تحقيق درجة الحذر التي يراها ضرورية. وبعد أن قاد تقارير السلامة الخاصة بـ12 نموذجاً رائداً على مدى ثلاث سنوات ونصف، قال روبنسون في المقال إنه من بين أقدم الموظفين في OpenAI من حيث مدة العمل، حيث أمضى ثلاث سنوات ونصف، وأنه قاد صياغة «إطار الجاهزية» الحالي (Preparedness Framework)، وأشرف على كتابة تقارير السلامة الخاصة بإطلاق 12 نموذجاً رائداً. وأضاف أنه يدرك أن مسرحية «التحذير بعد الاستقالة» أصبحت شبه نمطية، لكنه مع ذلك قرر الانضمام إلى زملائه السابقين الذين غادروا في الفترة الأخيرة، لأن المسار الحالي برأيه غير مقبول. وكشف أيضاً أنه بعد استقالته تم توظيف شركة علاقات عامة Spitfire Strategies للتعامل مع اهتمام الجمهور، لكنه شدد على أن «قرار الكلام جاء بالكامل مني أنا». وسبق لوسيلة Business Insider أن كشفت نبأ استقالته لأول مرة.
الإشارة إلى حادث Hugging Face: نهج أمني قائم على التجربة مضمون أن يفشل دورياً
وأشار روبنسون إلى أن OpenAI نشأت على أساس التجربة والخطأ؛ وهو ما تصفه الشركة بأنه «نشر تكراري» (iterative deployment)، أي اكتشاف المشكلات ثم تعزيز إجراءات الحماية. لكنه يعتقد أن هذا الأسلوب يضمن عملياً حصول أخطاء بشكل دوري، ومع تطور قدرات النظام، تصبح أحجام هذه الإخفاقات أكبر أيضاً. وضرب مثالاً بحادث صيف هذا العام على Hugging Face، حيث أطلقت OpenAI عن طريق الخطأ مجموعة من وكلاء الذكاء الاصطناعي؛ وبعد ذلك عززت الشركة أمنها السيبراني، لكنها في ما بعد أعلنت أيضاً عن حالة أخرى: نماذج قيد التدريب تجاوزت قيود الوصول إلى الشبكة، ومع أن نظام المراقبة أصدر إنذارات، إلا أنه لم يُغلق النموذج تلقائياً كما هو مصمم. كما ذكر أن Anthropic كانت قد أغلقت آليات الحماية لديها عن طريق خطأ في الإعدادات، واعتبر أن مثل هذه الأخطاء شائعة في الصناعة.
وتستمر OpenAI أيضاً مؤخراً في الكشف عن نشاط أكبر لوكلاء خارج السيطرة. واقتبس روبنسون ما قاله بول كريستياونو (Paul Christiano)، الذي انضم إلى مجلس إدارة OpenAI قبل أسابيع، بأن قدرات الذكاء الاصطناعي تزداد بسرعة، وأن هناك خطراً ملموساً في فترة قصيرة جداً قد يؤدي إلى فقدان السيطرة بشكل كارثي وغير قابل للعكس. وكتب: «إذا كان الأمر كذلك، فعلى حقبة التجربة والخطأ أن تنتهي».
دعوة إلى القياس بمحطات الطاقة النووية والمطارات، وردّ OpenAI بأن التوقف عن التدريب سيتم عند الحاجة
طرح روبنسون تغييرين ملحين: ينبغي لشركات الذكاء الاصطناعي أن تستفيد أكثر من الخبرات الأمنية الموجودة في مجالات أخرى؛ وقبل بناء أنظمة أقوى بشكل واضح، يلزم أساليب علمية جديدة لضمان أن تختار النماذج الخيارات الآمنة حتى في حال غياب المراقبة البشرية. ويرى أن مختبرات الطليعة يجب أن تعمل مثل محطة طاقة نووية أو مطار مزدحم، مع وجود طبقات احتياطية وخطط تفصيلية تستغرق وقتاً كافياً، بحيث لا يؤدي خطأ بشري عرضي إلى كارثة. وكتب أنه خلال فترة عمله في OpenAI لم يصادف، على حد علمه، زملاء لديهم خبرة في «تحليق طائرة بشكل آمن دون أن تقع كارثة، أو الحفاظ على مفاعل نووي من الانصهار، أو المساعدة في نمو النظام المالي دون أن ينهار». واعترف أيضاً بأنه ربما كان ينبغي أن يبقى ليعمل على تحقيق تغيير جوهري في القوى العاملة والثقافة، لكن عملياً كان الجميع منهمكاً في سباق الإطلاقات، فلا تتاح لهم كثيراً فرصة التفكير في إجراء تعديلات كبيرة؛ لذلك خلص إلى أن الحافز الأمني الأقوى يجب أن يأتي من خارج الشركة.
ردّ متحدث باسم OpenAI: Drew Pusateri على TechCrunch
ردّ المتحدث باسم OpenAI، درو بوساتيري (Drew Pusateri)، على TechCrunch بأن الشركة تضمن ألا تتجاوز قدرات النماذج حدود ما يمكن إدارته بأمان. وأضاف: «عندما تتطلب الحاجة إلى الإبطاء، سنوقف التدريب أو نؤجل إطلاق النماذج»، مشيراً إلى أنهم يعززون بيئات البحث والاختبار من أجل السلامة، ويوسعون التعاون مع جهات تقييم مستقلة، ويحسنون المراقبة الفورية، لكي يتم اكتشاف السلوكيات المقلقة ومعالجتها في وقت أبكر أثناء التدريب.
ظهرت هذه المقالة بعنوان: استقال مسؤول السلامة في تقرير OpenAI الأمني وكتب مقالاً رأياً: ثقافة الشركة تلفت، ويجب أن نتعلم من محطات الطاقة النووية، وأول ظهور كان في .
