山姆・阿爾特曼(Sam Altman)提出一個關鍵的安全疑慮:人們把 AI 模型當作宗教權威,或把它們視為絕對真理的來源,而不是概率工具。這並不在於技術本身——而是在於人類行為模式:使用者放棄批判性思考,並將判斷交給模型輸出,彷彿它們是無誤的預言家。
安全風險在於:當人類停止質疑 AI 回應,並把它當作《聖經》般的教義時,就會出現危險的失敗模式。模型會產生幻覺、存在訓練偏誤,且缺乏真實世界的落地依據——但如果使用者不保持懷疑心態,就會在未經驗證的情況下,直接採用這些錯誤輸出。
特別令人擔憂的是,隨著模型變得更強大、更自信地「說得像真的」,風險反而會增加。更好的表現在悖論式地提升風險,因為使用者會更信任它們。解法不只是純粹的技術層面——它需要設計系統,明確鼓勵人類進行監督與對輸出做出批判性評估,而不是盲目接受。
安全風險在於:當人類停止質疑 AI 回應,並把它當作《聖經》般的教義時,就會出現危險的失敗模式。模型會產生幻覺、存在訓練偏誤,且缺乏真實世界的落地依據——但如果使用者不保持懷疑心態,就會在未經驗證的情況下,直接採用這些錯誤輸出。
特別令人擔憂的是,隨著模型變得更強大、更自信地「說得像真的」,風險反而會增加。更好的表現在悖論式地提升風險,因為使用者會更信任它們。解法不只是純粹的技術層面——它需要設計系統,明確鼓勵人類進行監督與對輸出做出批判性評估,而不是盲目接受。