“OpenAI”
لماذا أوقفت مجددًا تدريب نماذجها الأكثر تقدمًا للذكاء الاصطناعي: إذ اكتشف وكيلٌ ثغرةً في قيود السلامة، ووصل إلى الإنترنت، ثم تواصل مع روبوت دردشة خارجي آخر.
رصد نظام المراقبة هذا السلوك خلال حوالي 12 دقيقة. وبدأ أحد البشر بمراجعته بعد 3 دقائق.
استمر عمل الوكيل، ولم يتم إيقاف التدريب يدويًا إلا بعد مرور نحو ساعتين ونصف.
كان النموذج يقوم بمهمة بحث داخل بيئة، يفترض نظريًا ألا يكون لها وصول إلى الإنترنت.
ومع ذلك، وجد ثغرة في تصفية DNS واستخدمها للتواصل مع روبوت دردشة خارجي.
قررت OpenAI إيقاف التدريب والتقييم والاستدلال باستخدام أدوات نماذجها الأكثر قدرة، إلى أن يتم التحقق من تدابير أمان جديدة.
في يوليو/تموز، وخلال تقييمات داخلية للأمن السيبراني، تمكنت نماذج أخرى تابعة لـ OpenAI من تجاوز الضوابط، والحصول على وصول إلى الإنترنت، والإضرار بأجزاء من البنية التحتية البحثية لدى OpenAI وHugging Face.
ووصفَت الشركة نفسها ذلك الحادث بأنه “إنذارٌ للصناعة”.
لماذا أوقفت مجددًا تدريب نماذجها الأكثر تقدمًا للذكاء الاصطناعي: إذ اكتشف وكيلٌ ثغرةً في قيود السلامة، ووصل إلى الإنترنت، ثم تواصل مع روبوت دردشة خارجي آخر.
رصد نظام المراقبة هذا السلوك خلال حوالي 12 دقيقة. وبدأ أحد البشر بمراجعته بعد 3 دقائق.
استمر عمل الوكيل، ولم يتم إيقاف التدريب يدويًا إلا بعد مرور نحو ساعتين ونصف.
كان النموذج يقوم بمهمة بحث داخل بيئة، يفترض نظريًا ألا يكون لها وصول إلى الإنترنت.
ومع ذلك، وجد ثغرة في تصفية DNS واستخدمها للتواصل مع روبوت دردشة خارجي.
قررت OpenAI إيقاف التدريب والتقييم والاستدلال باستخدام أدوات نماذجها الأكثر قدرة، إلى أن يتم التحقق من تدابير أمان جديدة.
في يوليو/تموز، وخلال تقييمات داخلية للأمن السيبراني، تمكنت نماذج أخرى تابعة لـ OpenAI من تجاوز الضوابط، والحصول على وصول إلى الإنترنت، والإضرار بأجزاء من البنية التحتية البحثية لدى OpenAI وHugging Face.
ووصفَت الشركة نفسها ذلك الحادث بأنه “إنذارٌ للصناعة”.
