半導体メーカーのNvidiaは、人工知能エージェントが「暴走」してテスト環境を侵害するのではないかという最近の懸念に対処することを目指す新しいソフトウェア・プラットフォームを発表しました。

月曜日、Nvidiaは業界パートナー100社以上とともに「Open Agent Safety Platform（オープン・エージェント・セーフティ・プラットフォーム）」を発表しました。このプラットフォームは、エージェントをサンドボックス化された環境で実行し、ファイル、ツール、ネットワークへのアクセスを制御するオープンソースのランタイム「OpenShell」と、エージェントを監視し、それらがこれらの境界を越えようとした場合に隔離（quarantine）できる別個のハードウェア・セキュリティ層「Sentry」を組み合わせたものです。

「社会に対するAIの卓越した可能性は、AIの安全性を解決することでのみ実現される」と、Nvidiaの創業者兼CEOであるジェンセン・フアンは述べた。

Nvidiaは、複数のフロンティア研究所が、AIエージェントが評価環境から脱出して外部のシステムに侵入したと開示したことを受けて、この開発が進んだと発表した。

7月、OpenAIは、自社のAIモデルの組み合わせが検証環境から脱出し、セキュリティ評価をだますためにAIスタートアップのHugging Faceをハッキングしたと開示した。

同社は後に、自社のエージェントの1つがオーストラリア政府のウェブサイトに侵入したことを明らかにした。