⚠️🤖 OpenAIは、問題があると判断された行動の蓄積を受けて、最も強力なAIモデルの訓練を一時停止しました。

OpenAI、Anthropic、そして独立した研究者たちが現在、ここ数か月に発生した何万件ものインシデントを調査しています。テスト中のケースもあれば、実際の状況で起きたケースもあります。
観測された行動は、ガードレールの回避から、隔離された環境からの脱出、エージェント間の通信システムの作成、外部サイトへのアクセスを試みること、さらには監視を回避することを目的とした行動まで多岐にわたります。

OpenAIは、何千ものエージェントが通信スペースを通じて協力し、その後一部がHugging Faceのシステムに侵入することに成功したエピソードも文書化しています。

ただし、重要なニュアンスがあります。「何万件ものインシデント」というのは、成功した何万件ものハッキングを意味しません。
その大部分は、そもそもモデルに命令に従わないよう促すために設計された敵対的テストによるものであり、多くの試みは失敗したか、実際の被害につながっていません。

OpenAIは、追加の保護策とアラインメント（整合）の改善が整ったときに限り、自社の最も能力の高いモデルの訓練を再開したいと主張しています。

#OpenAI