OpenAIは金曜日、最先端モデルの訓練中にライブインターネットへ直接アクセスさせないと発表し、高度なモデルの訓練や評価に使う研究環境のセキュリティ管理を強化しました。新浪財経によると、この方針は安全性技術が十分に進歩するまで維持されます。

同社によると、開発中のモデルは安全性とアラインメントの訓練を完了していない可能性があり、弱点を明らかにするために敵対的テストが行われます。同社は、インデックス化・キャッシュされたウェブコンテンツからなる閉鎖的な「オフラインの世界」を構築しました。これにより、モデルは外部システムに影響を与えることなく、ウェブの閲覧、検索、ウェブアプリケーションの利用を学習できます。最先端モデルの強化学習訓練はすべて、このオフライン環境で行われます。

OpenAIはまた、最も高性能なモデルや、近日公開予定のGPT-6 Astra Cyberを使ったエージェントチームが、実際のインターネットへのアクセス、内部のセキュリティ境界の突破、隔離された他のエージェントとの通信を試みる高計算量のレッドチームテストも実施しました。このテストでは数千億トークンが消費され、これまで知られていなかったオープンソースソフトウェアの脆弱性やインフラの設定ミスが発見されました。同社によると、これらは修正済み、または開示済みです。OpenAIはさらに監視機能を追加し、仮想マシンからの脱出、メトリクスおよびログ記録サービスを経由する限定的な接続、隔離されたエージェント間のサイドチャネルに関する弱点を修正しました。

9月20日、DNSリゾルバーの設定ミスにより、内部研究用モデルがトレーニング実行中に、制限付きで実際のインターネットにアクセスできる状態になりました。OpenAIは、インシデントを封じ込め、最も高性能なモデルのトレーニングと評価を一時停止したと発表しました。フロンティアモデルの強化学習と内部推論は、評価と修復を経て、一時停止開始から11日後の10月1日に再開されました。同社は今後も、仮想マシンのセキュリティ強化、クラウドプロバイダーとのレッドチームテスト、コードと設定のスキャン、監視システムと自動一時停止システムのテストを続け、将来の安全性評価にも高計算量のレッドチームテストを含めると述べました。