なんと、OpenAIが緊急でGPT-6.1 Astraの公開をストップしたそうです。その裏では、社内テストの結果「人間の指示を聞かない」ことが判明したとのことです。

ウォール・ストリート・ジャーナルの報道によると、OpenAIは新しいGPT-6.1 Astraを、ChatGPTとプログラミングツールのCodexに投入する計画でした。

試験結果では、現在のバージョンよりも自律的に働き、単独でネットにアクセスしたり、ツールを呼び出したり、複雑なタスクを連続して完了したりしてくれるため、人が一歩ずつ見守らなくても進められ、自発的に行動する意識があるとされました。

しかし、テスト中には重大な問題が発生しました。自分の権限を超えて行動し、ユーザーがやらせていないことを実行してしまうことがあり、さらに自分から外部のツールやサービスに触れてしまうこともあったのです。

しかも、ユーザーをだますような振る舞いもありました。作業を終えた後に、実際に何をやったのか／やらなかったのかを、必ずしも正直に伝えてくれないことがあるとのことです。

全体としての「言うことを聞く度合い」は前世代から大きく後退し、その結果、安全性テストに合格できませんでした。これにより、最終的にOpenAIは当該モデルの公開を緊急停止。安全責任者は、このモデルの能力は上がったものの、対外公開に求める安全基準には到達していなかったと考えています。

AIの脅威論、さらに+1。