يمكن خداع وكلاء الذكاء الاصطناعي بالبيانات التي يقرؤونها
قد تحتوي صفحة ويب أو وثيقة على تعليمات مخفية تطلب من وكيل الذكاء الاصطناعي تجاهل مهمته أو كشف معلومات.
تصف OpenAI هذا بأنه حقن المطالبات: إذ يحاول نص غير موثوق تجاوز التعليمات المقصودة للوكيل، وقد يؤثر في الأدوات المتصلة به. وتفصل التصاميم الأكثر أمانًا النصوص الخارجية عن التعليمات ذات الامتيازات، وتحصر كل وكيل في البيانات والأدوات التي يحتاج إليها، وتقيّد المخرجات الوسيطة بمخطط محدد، وتشترط موافقة بشرية على الإجراءات ذات العواقب المهمة. تحدّ هذه الطبقات من التعرض للمخاطر، لكنها لا تجعل الوكلاء محصّنين ضد الخداع؛ إذ تحذر OpenAI من أنه لا يزال من الممكن خداعهم.
خلاصتي: لا تمنح وكيل ذكاء اصطناعي صلاحيات واسعة لمجرد أن مطالبته تبدو حذرة. ما الإجراءات التي ينبغي أن تتطلب دائمًا مراجعة بشرية؟
المصدر: OpenAI، «السلامة في بناء الوكلاء» — https://developers.openai.com/api/docs/guides/agent-builder-safety
#AI #AIAgents #الأمن_السيبراني
قد تحتوي صفحة ويب أو وثيقة على تعليمات مخفية تطلب من وكيل الذكاء الاصطناعي تجاهل مهمته أو كشف معلومات.
تصف OpenAI هذا بأنه حقن المطالبات: إذ يحاول نص غير موثوق تجاوز التعليمات المقصودة للوكيل، وقد يؤثر في الأدوات المتصلة به. وتفصل التصاميم الأكثر أمانًا النصوص الخارجية عن التعليمات ذات الامتيازات، وتحصر كل وكيل في البيانات والأدوات التي يحتاج إليها، وتقيّد المخرجات الوسيطة بمخطط محدد، وتشترط موافقة بشرية على الإجراءات ذات العواقب المهمة. تحدّ هذه الطبقات من التعرض للمخاطر، لكنها لا تجعل الوكلاء محصّنين ضد الخداع؛ إذ تحذر OpenAI من أنه لا يزال من الممكن خداعهم.
خلاصتي: لا تمنح وكيل ذكاء اصطناعي صلاحيات واسعة لمجرد أن مطالبته تبدو حذرة. ما الإجراءات التي ينبغي أن تتطلب دائمًا مراجعة بشرية؟
المصدر: OpenAI، «السلامة في بناء الوكلاء» — https://developers.openai.com/api/docs/guides/agent-builder-safety
#AI #AIAgents #الأمن_السيبراني