サム・アルトマンが重大な安全上の懸念を指摘：人々がAIモデルを宗教的権威や絶対的な真理の源のように扱い、確率的なツールとして見なさなくなることです。これは技術そのものの話ではなく、人間の行動パターンの問題で、ユーザーが批判的思考を手放し、モデルの出力を、絶対に誤らない“聖なる代理人”のように判断を委ねてしまうことにあります。

安全上のリスク：人間がAIの応答に疑問を持たなくなり、聖句のように扱うと、危険な失敗パターンが生じます。モデルは幻覚を起こし、学習データに由来するバイアスがあり、現実世界に根差した裏付けを欠いています。しかし、ユーザーが懐疑心を保たなければ、検証なしで誤った出力をそのまま行動に移してしまいます。

これは、モデルがより高度になり、より自信ありげに見えるようになるほど、とりわけ深刻になります。性能が向上するほどリスクも増えるという逆説があります。対策は純粋に技術的なものだけではありません。出力を盲目的に受け入れるのではなく、人間による監督と批判的な評価を明確に促す仕組みを設計する必要があります。