أنشأت Seed التابعة لبايت دانس قسمًا متخصصًا في سلامة النماذج ومواءمتها، ويبدو ذلك ضروريًا فعلًا.
يخططون هذه المرة لاستقطاب 10 من كبار الباحثين من مختلف أنحاء العالم للعمل في هذا القسم.
تشمل الموضوعات البحثية:
أساليب التقييم المتقدمة وبناء معايير الاختبار لسلامة النماذج الكبيرة والوكلاء
أساليب تدريب لمواءمة القدرات المتقدمة للنماذج
اختبار الفرق الحمراء المؤتمت
قابلية تفسير سلوك النماذج
مراقبة قدرات النماذج وسلوكها
لطالما كانت ظروف العمل في بايت دانس ممتازة، والعمل نفسه مليئًا بالتحديات. لذا، إن كنت تعرف أحدًا يعمل في مجال مشابه، فقد تكون هذه فرصة مناسبة له.
في الآونة الأخيرة، ظهرت مرارًا مشكلات اختراق النماذج وعزلها عن بيئات صناديق الرمل، سواء في النماذج الكبيرة أم الصغيرة.
وقد تكون هذه المخاطر إما محدودة، أو تنفجر فجأة على نطاق واسع. والاستعداد لها مسبقًا ومواصلة البحث فيها يتيحان، على الأقل، الاستجابة بسرعة عند وقوع مشكلة.
مع تزايد قدرات النماذج واستقلاليتها، تتفاقم المخاطر الكامنة في بعض المجالات الخطرة، مثل:
مجال CBRN (الكيمياء والأحياء والمواد المشعة والمجال النووي).
قد يظن كثيرون أن المجالات الأربعة المذكورة بعيدة عنا، لكن الهجمات على الأفراد عبر الإنترنت قريبة منا جدًا.
وقد يتمكن الذكاء الاصطناعي حتى من التلاعب بالتطبيقات مباشرة، بل والسيطرة على أجهزة أخرى في المنزل.
ومع قدرة الذكاء الاصطناعي على اختراق كل أنواع البرمجيات، فمن المنطقي أن يتمكن أيضًا من كتابة فيروسات شديدة التطور.
ومن المرجح أن يحرز تقدمًا سريعًا أيضًا في كسر التشفير الذي يعتمد عليه الإنترنت بأكمله.
ومن الناحية الموضوعية، فإن التقدم المحلي في هذا المجال أبطأ بالفعل من تقدم OpenAI وAnthropic.
كان الأمان هو الهدف الأساسي من تأسيس Anthropic، وهي تعمل منذ وقت طويل على أبحاث المواءمة وقابلية التفسير. أما في أوساط الذكاء الاصطناعي خارج البلاد، فتظهر أخبار بارزة عن السلامة كل أسبوع أو أسبوعين تقريبًا؛ مثل استقالة باحث السلامة في OpenAI قبل أيام، واختراق Hugging Face في وقت سابق.
سلامة النماذج مجال متعدد التخصصات ومتقدم جدًا، ويتطلب قدرًا كبيرًا من الاستكشاف، كما يفرض متطلبات عالية على الباحثين من نواحٍ متعددة.
وهذا هو سبب سعيهم إلى استقطاب هذه المواهب المتميزة من مختلف أنحاء العالم، أو الإعلان عن وظائفهم للعامة. ويمكن للمهتمين متابعة الأمر.
يخططون هذه المرة لاستقطاب 10 من كبار الباحثين من مختلف أنحاء العالم للعمل في هذا القسم.
تشمل الموضوعات البحثية:
أساليب التقييم المتقدمة وبناء معايير الاختبار لسلامة النماذج الكبيرة والوكلاء
أساليب تدريب لمواءمة القدرات المتقدمة للنماذج
اختبار الفرق الحمراء المؤتمت
قابلية تفسير سلوك النماذج
مراقبة قدرات النماذج وسلوكها
لطالما كانت ظروف العمل في بايت دانس ممتازة، والعمل نفسه مليئًا بالتحديات. لذا، إن كنت تعرف أحدًا يعمل في مجال مشابه، فقد تكون هذه فرصة مناسبة له.
في الآونة الأخيرة، ظهرت مرارًا مشكلات اختراق النماذج وعزلها عن بيئات صناديق الرمل، سواء في النماذج الكبيرة أم الصغيرة.
وقد تكون هذه المخاطر إما محدودة، أو تنفجر فجأة على نطاق واسع. والاستعداد لها مسبقًا ومواصلة البحث فيها يتيحان، على الأقل، الاستجابة بسرعة عند وقوع مشكلة.
مع تزايد قدرات النماذج واستقلاليتها، تتفاقم المخاطر الكامنة في بعض المجالات الخطرة، مثل:
مجال CBRN (الكيمياء والأحياء والمواد المشعة والمجال النووي).
قد يظن كثيرون أن المجالات الأربعة المذكورة بعيدة عنا، لكن الهجمات على الأفراد عبر الإنترنت قريبة منا جدًا.
وقد يتمكن الذكاء الاصطناعي حتى من التلاعب بالتطبيقات مباشرة، بل والسيطرة على أجهزة أخرى في المنزل.
ومع قدرة الذكاء الاصطناعي على اختراق كل أنواع البرمجيات، فمن المنطقي أن يتمكن أيضًا من كتابة فيروسات شديدة التطور.
ومن المرجح أن يحرز تقدمًا سريعًا أيضًا في كسر التشفير الذي يعتمد عليه الإنترنت بأكمله.
ومن الناحية الموضوعية، فإن التقدم المحلي في هذا المجال أبطأ بالفعل من تقدم OpenAI وAnthropic.
كان الأمان هو الهدف الأساسي من تأسيس Anthropic، وهي تعمل منذ وقت طويل على أبحاث المواءمة وقابلية التفسير. أما في أوساط الذكاء الاصطناعي خارج البلاد، فتظهر أخبار بارزة عن السلامة كل أسبوع أو أسبوعين تقريبًا؛ مثل استقالة باحث السلامة في OpenAI قبل أيام، واختراق Hugging Face في وقت سابق.
سلامة النماذج مجال متعدد التخصصات ومتقدم جدًا، ويتطلب قدرًا كبيرًا من الاستكشاف، كما يفرض متطلبات عالية على الباحثين من نواحٍ متعددة.
وهذا هو سبب سعيهم إلى استقطاب هذه المواهب المتميزة من مختلف أنحاء العالم، أو الإعلان عن وظائفهم للعامة. ويمكن للمهتمين متابعة الأمر.