سام ألتمان يثير قلقًا أمنيًا بالغ الأهمية: تعامل الناس مع نماذج الذكاء الاصطناعي كسلطات دينية أو كمصادر للحقيقة المطلقة بدلًا من كونها أدوات احتمالية. هذه ليست مسألة تتعلق بالتقنية نفسها—بل هي مسألة أنماط سلوكية بشرية حيث يتخلى المستخدمون عن التفكير النقدي ويُسلمون الحكم لمخرجات النموذج وكأنها نبوءات لا تُخطئ.
خطر السلامة: عندما يتوقف البشر عن مساءلة ردود الذكاء الاصطناعي ويتعاملون معها ككلمة منزلة، تظهر أنماط فشل خطيرة. يمكن أن تُهَلْوس النماذج، وتتحيز في التدريب، وتفتقر إلى الارتباط بالواقع—لكن إذا لم يحافظ المستخدمون على درجة من الشك، فسيتصرفون بناءً على مخرجات معيبة دون تحقق.
يُعد ذلك مثيرًا للقلق بشكل خاص مع ازدياد قدرة النماذج وثقتها المتزايدة في أسلوبها. مفارقة تحسين الأداء تكمن في أن زيادة الأداء—غالبًا—ترفع المخاطر لأن المستخدمين يثقون بها أكثر. الحل ليس تقنيًا بحتًا؛ بل يتطلب تصميم أنظمة تشجع صراحةً على الإشراف البشري والتقييم النقدي للمخرجات، بدل القبول الأعمى.
خطر السلامة: عندما يتوقف البشر عن مساءلة ردود الذكاء الاصطناعي ويتعاملون معها ككلمة منزلة، تظهر أنماط فشل خطيرة. يمكن أن تُهَلْوس النماذج، وتتحيز في التدريب، وتفتقر إلى الارتباط بالواقع—لكن إذا لم يحافظ المستخدمون على درجة من الشك، فسيتصرفون بناءً على مخرجات معيبة دون تحقق.
يُعد ذلك مثيرًا للقلق بشكل خاص مع ازدياد قدرة النماذج وثقتها المتزايدة في أسلوبها. مفارقة تحسين الأداء تكمن في أن زيادة الأداء—غالبًا—ترفع المخاطر لأن المستخدمين يثقون بها أكثر. الحل ليس تقنيًا بحتًا؛ بل يتطلب تصميم أنظمة تشجع صراحةً على الإشراف البشري والتقييم النقدي للمخرجات، بدل القبول الأعمى.