بحسب دراسة أجراها باحثون من Google وETH Zurich وآخرون، كان بإمكان مهاجم إدخال عشرات الآلاف من الصور الضارة إلى مجموعة LAION-400M مقابل نحو 60 دولارًا، وهي واحدة من أكبر مجموعات الصور المجانية المستخدمة لتدريب أدوات الذكاء الاصطناعي للصور.
أهم الخلاصات
تضم مجموعة LAION-400M أربعمئة مليون صورة مقترنة بتعليقات توضيحية، جُمعت من الإنترنت المفتوح، واستُخدمت لتدريب العديد من نماذج الذكاء الاصطناعي للصور
أظهر الباحثون أن نحو 0.01% منها، أي قرابة 40 ألف زوج من الصور والتعليقات، كان من الممكن تسميمها مقابل 60 دولارًا، لأن مجموعة البيانات ليست سوى قائمة بروابط ويب يمكن لأي شخص الاستحواذ عليها لاحقًا
سحبت LAION مجموعة بياناتها الأكبر LAION-5B في عام 2023 بعد أن عثر باحثون من جامعة ستانفورد على روابط لصور إساءة معاملة الأطفال، ثم أصدرت نسخة منقحة في عام 2024
الإصلاحات الفعالة بسيطة ورتيبة: تثبيت إصدارات مجموعات البيانات، وتسجيل مصدر كل ملف، وإجراء اختبارات تتحقق من سلوك النموذج عند إزالة بياناته الأقل موثوقية
ما هي LAION-400M؟
LAION منظمة ألمانية غير ربحية تنشئ مجموعات بيانات مجانية لأبحاث الذكاء الاصطناعي. ويضم إصدارها LAION-400M أربعمئة مليون زوج من الصور والنصوص جُمعت من Common Crawl، وهو أرشيف عام للويب. يتكون كل زوج من صورة وكلمات ظهرت بجانبها على الإنترنت، مثل النص البديل للصورة.
لا تخزن مجموعة البيانات الصور نفسها، بل تخزن روابط إليها. وكل من يريد تدريب نموذج يعيد تنزيل الصور من تلك الروابط، غالبًا بعد مرور سنوات. يُبقي هذا التصميم مجموعة البيانات صغيرة وسهلة المشاركة، لكنه يمثل أيضًا أكبر نقاط ضعفها.
كيف يمكن لـ60 دولارًا أن تسممها؟
في عام 2023، عرض فريق بقيادة نيكولاس كارليني من Google، وبمشاركة فلوريان ترامير من ETH Zurich، طريقتين زهيدتي التكلفة لتسميم مجموعات بيانات ضخمة مأخوذة من الويب. ووصفوا الهجمات بأنها «عملية فورًا»، وقالوا إنها تنجح مع 10 مجموعات بيانات شائعة.
يستغل الهجوم الأول الفجوة بين وقت إنشاء مجموعة البيانات ووقت تنزيلها. تشير كثير من عناوين الويب في LAION-400M إلى نطاقات انتهت صلاحيتها منذ ذلك الحين. ويمكن للمهاجم شراء تلك النطاقات ووضع صور جديدة في العناوين القديمة. وهكذا يحصل الفريق التالي الذي ينزّل مجموعة البيانات على صور المهاجم، بينما تظل التعليقات التوضيحية تصف الصور الأصلية. وقدّر الباحثون أن بإمكانهم تسميم 0.01% من LAION-400M أو من مجموعة COYO-700M المشابهة بهذه الطريقة مقابل 60 دولارًا.
قد تبدو النسبة ضئيلة، لكن 0.01% من 400 مليون تعادل نحو 40 ألف زوج من الصور والتعليقات التوضيحية. وأظهرت أبحاث سابقة أجراها كارليني وأندرياس تيرزيس أن بضع مئات من الأمثلة المُعدّة بعناية قد تكفي لزرع محفّز خفي في نموذج، مثل نمط صغير يدفعه إلى تصنيف أي صورة تحتوي عليه تصنيفًا خاطئًا.
يستهدف الهجوم الثاني مجموعات البيانات المنشأة من لقطات دورية لمواقع يستطيع أي شخص تعديلها، مثل ويكيبيديا. ولا يحتاج المهاجم سوى إدخال تعديلات ضارة قبل التقاط إحدى اللقطات مباشرة، حتى لو أزالها المشرفون بعد دقائق.
أبلغ الباحثون مالكي مجموعات البيانات المتأثرة واقترحوا وسائل دفاع بسيطة، أهمها تخزين بصمة لكل ملف، تُسمى بصمة تجزئة، حتى يمكن اكتشاف الصورة التي تغيرت واستبعادها.
مشكلة البيانات السيئة ليست مجرد نظرية
اضطرت LAION بالفعل إلى سحب مجموعة بيانات بسبب محتوى كان مخفيًا فيها. ففي ديسمبر 2023، أبلغ باحثون من جامعة ستانفورد عن وجود 1,008 روابط في مجموعة البيانات الأكبر بكثير LAION-5B تشير إلى مواد معروفة أو يُرجح أنها تتضمن اعتداءً جنسيًا على الأطفال. وسحبت LAION مجموعة LAION-5B من التداول، وفحصتها بمقارنتها بقوائم منظمات حماية الأطفال، وأزالت 2,236 رابطًا قبل إصدار نسخة منقحة باسم Re-LAION-5B في 30 أغسطس 2024.
قالت LAION إن رقم 2,236 يمثل حدًا أقصى، لأن كثيرًا من تلك الروابط كان معطلًا بالفعل. ومع ذلك، تكشف هذه القضية عن نقطة الضعف نفسها التي رصدتها دراسة التسميم. فعندما تتكون مجموعة البيانات من مليارات الروابط التي تجمعها برمجيات، لا يطّلع أحد على معظم محتواها.
اقرأ أيضًا: Roblox تقر بأن روبوت باحثها جمع بيانات من موقع للفنون ثلاثية الأبعاد، وتقول إن البيانات لم تُستخدم قط
تعلّم الذكاء الاصطناعي من الذكاء الاصطناعي يزيد الأمر سوءًا
أصبح الذكاء الاصطناعي ينشئ حصة متزايدة من محتوى الويب، من الصور المولدة إلى التعليقات التوضيحية التي تكتبها الآلات. وهذا يخلق خطرًا ثانيًا. فقد وجدت دراسة نُشرت عام 2024 في مجلة Nature وأعدها إيليا شوميلوف وزملاؤه أن النماذج التي تُدرّب مرارًا على بيانات أنشأتها نماذج سابقة تمر بما أسموه «انهيار النموذج». فهي تنسى تدريجيًا الحالات النادرة وغير المعتادة في البيانات الحقيقية، وتميل إلى مخرجات باهتة ومتكررة.
في أدوات الصور، تظهر المشكلة في التعليقات التوضيحية. تستخدم كثير من مجموعات البيانات الجديدة نموذج ذكاء اصطناعي لكتابة تعليق توضيحي لكل صورة. وقد يكون التعليق سلسًا، لكنه يخطئ في تحديد من أو ما يظهر في الصورة. وإذا أصبح هذا التعليق «الإجابة» التي يتعلم منها نموذج جديد، يترسخ الخطأ ويتكرر على نطاق هائل.
مواضع تعطل مسارات التدريب
تنشأ معظم المشكلات عند الانتقال بين الخطوات، لا داخل النموذج نفسه.
الجمع: تُسحب صورة من صفحة، فتفقد المقال المحيط بها، الذي ربما كان يوضح أنها سخرية أو خيال أو زيف
التنزيل: قد تعرض الروابط التي تغيرت منذ إنشاء مجموعة البيانات صورًا مختلفة، وهذا هو الهجوم الذي وصفه فريق كارليني
التوسيم التلقائي: يحوّل نموذج لوصف الصور صورة ضبابية أو غير واضحة إلى جملة واثقة، يتعامل معها نموذج لاحق على أنها حقيقة
التدريب: عادةً ما تُعامل الأمثلة الموثوقة وغير الموثوقة بالطريقة نفسها، لذا يكون تأثير العينة السيئة بقدر تأثير العينة الجيدة
الاختبار: إذا أُنشئت مجموعة الاختبار بالأدوات نفسها المستخدمة في مجموعة التدريب، فقد يحقق النموذج نتيجة جيدة بتقليد عادات تلك الأدوات بدلًا من التحسن فعليًا
ما الإصلاحات التي تنجح فعلًا؟
ثبّت البيانات. ينبغي أن يستند كل تشغيل تدريبي إلى نسخة واحدة محددة ومحفوظة من مجموعة البيانات، مع بصمة تجزئة لكل ملف. إذا تغيرت صورة بعد إنشاء مجموعة البيانات، فلن تتطابق بصمة التجزئة، ويُستبعد الملف. وهذا هو الإجراء الدفاعي الأساسي الذي توصي به دراسة تسميم البيانات، وتكلفته ضئيلة جدًا.
احتفظ بسجل موثق. ينبغي للفرق تسجيل مصدر كل ملف ووقت جمعه وما أُجري عليه والنموذج الذي كتب وسمه. وإذا ظهرت عينة سيئة لاحقًا، فسيكون بوسعهم تحديد كل نموذج تأثر بها.
لا تثق بجميع البيانات بالقدر نفسه. يمكن فصل البيانات التي راجعها أشخاص عن البيانات الضخمة التي جُمعت من الويب ووُسّمت آليًا. ويمكن للتدريب أن يقلل وزن المجموعة الثانية، كما يمكن للاختبارات أن تكشف مدى اعتماد النموذج عليها.
اختبر من دون الشريحة المحفوفة بالمخاطر. من الاختبارات البسيطة تدريب النموذج أو اختباره بعد إزالة البيانات الأقل موثوقية. فإذا تذبذبت النتائج بشدة، فهذا يعني أن النموذج يعتمد على بيانات لم يراجعها أحد.
لا تعتمد على العلامات المائية. قد تساعد العلامات المخفية في الصور التي أنشأها الذكاء الاصطناعي في بعض الحالات، لكن القص ولقطات الشاشة وإعادة الحفظ قد تضعفها، كما أن كثيرًا من أدوات الصور المفتوحة لا تضيفها أصلًا. السجلات المحفوظة منذ البداية أوثق من محاولة اكتشاف الملفات التي أنشأها الذكاء الاصطناعي لاحقًا.
القواعد بدأت تطالب بالسجلات
تتحرك الجهات التنظيمية في الاتجاه نفسه. دخلت قواعد الشفافية في قانون الذكاء الاصطناعي للاتحاد الأوروبي حيز التنفيذ في 2 أغسطس 2026، وتُلزم مزودي أنظمة الذكاء الاصطناعي التي تنشئ الصور أو الصوت أو الفيديو أو النص بوضع علامة على هذا المحتوى تفيد بأنه من إنشاء الذكاء الاصطناعي، بصيغة قابلة للقراءة آليًا.
في الولايات المتحدة، نشر المعهد الوطني للمعايير والتكنولوجيا، أو NIST، في عام 2024 ملفًا إرشاديًا للذكاء الاصطناعي التوليدي يدرج تسميم البيانات وغموض مصادرها ضمن المخاطر التي ينبغي للشركات تتبعها. وهو طوعي، لكنه يوفر للفرق قائمة تحقق لتحديد مصادر بياناتها وتسجيلها.
لا تستطيع أي من القاعدتين تحديد ما إذا كان تعليق توضيحي بعينه خاطئًا أو ما إذا كانت صورة بعينها قد استُبدلت. لكنهما تدفعان الشركات إلى الاحتفاظ بأنواع السجلات التي تتيح اكتشاف مثل هذه المشكلات.
الحجة ضد الهلع
لن تختفي بيانات الويب، وهناك أسباب وجيهة لذلك. فتوظيف أشخاص لتوسيم مليارات الصور ومقاطع الفيديو والتسجيلات الصوتية أمر بطيء ومكلف. وتُعد مجموعات البيانات المجانية مثل مجموعة LAION سببًا رئيسيًا في تمكّن الجامعات والمختبرات الصغيرة من بناء نماذج للصور أصلًا.
للبيانات التي ينشئها الذكاء الاصطناعي استخدامات حقيقية أيضًا. إذ يمكنها توفير حالات نادرة قلما تظهر على الإنترنت، أو تحقيق التوازن في مجموعة بيانات غير متوازنة، أو أن تحل محل بيانات خاصة لا يمكن مشاركتها. ولأن مجموعات بيانات LAION مفتوحة، استطاع باحثون من خارجها اكتشاف مشكلاتها والإبلاغ عنها. أما مجموعة البيانات المغلقة، فقد تخفي المشكلات نفسها مدة أطول بكثير.
ليس الهدف التوقف عن استخدام البيانات المفتوحة، بل التوقف عن التعامل مع كل صورة جُمعت من الويب وكل تعليق كتبه جهاز كما لو أن شخصًا راجعه.
اقرأ التالي: يستطيع الذكاء الاصطناعي الآن اختراق Firefox باستخدام إصلاحات الأخطاء الخاصة بـ Mozilla
ما الذي ينبغي متابعته؟
الاختبار التالي هو ما إذا كانت إصدارات نماذج الذكاء الاصطناعي الجديدة ستوضح بجلاء البيانات التي دُرّبت عليها، ومقدار ما أنشأه الذكاء الاصطناعي منها أو وسمه، وكيف جرت مراجعته. وسيكون من الأسهل بكثير الوثوق بالنماذج التي تنشر هذه السجلات وإصلاحها عندما تظهر مشكلة خفية في بيانات تدريبها.