OpenAI、Microsoft、CrowdStrikeは、動作範囲を逸脱するAIエージェントの能力を制限するための対策を講じています。OpenAIには、研究用モデルの出力を停止する仕組みがあります。CrowdStrikeは、エージェントがAIモデルにアクセスするのを阻止します。Microsoftは、AIエージェントが実行できるアクションを制限します。ただし、エージェントは、こうした安全対策の対象外となる他のツールや認証情報、ネットワーク接続へのアクセスを維持している可能性があります。

OpenAIの「Control Room」で停止できること、できないこと

11月9日、OpenAIはControl Roomの仕組みを説明しました。このシステムは現在、同社の研究インフラで運用されており、AI生成の出力を必要とするすべてのジョブを追跡する役割を担っています。人または自動監視システムがジョブを一時停止すると、Control Roomによって、最短35秒でモデルの出力が停止します。

問題の検知に必要な時間は、この35秒には含まれていません。タイマーが始動するのは、コントロールルームが停止命令を受け取った後です。調査処理がまだ実行中の可能性があり、それ以前の操作を取り消すことはできません。この遅延は、認証に使用されるキャッシュシステムが原因です。同社はこの遅延の解消に取り組んでいます。

CrowdStrikeとMicrosoft、エンタープライズ向けの対策を展開

11月3日、CrowdStrikeはFalcon Guardianプラットフォームを通じてAI Kill Switchを発表しました。セキュリティチームがこの機能を有効にすると、接続されたAIゲートウェイが、エージェントによる意思決定に使用するモデルへのアクセスを遮断します。現時点で、AI Kill Switchが機能するのは接続されたゲートウェイを通じた場合のみです。CrowdStrikeは、より広範に不正なAIエージェントを封じ込めるため、エンドポイント、クラウド環境、エンタープライズのIDシステムにも機能を拡大する計画です。

Microsoftが11月5日に発表したアップデートでは、実行中のタスクに必要な権限のみを付与するDynamic Permissionsが詳述されました。Dynamic Agent RiskとConditional Accessにより、権限をより厳しく制限したり、人間の承認を必須にしたりできます。一般提供が始まったWindows Execution Containersは、ファイル、ネットワーク、プロセスへのアクセスを制限します。Intune、Entra、Agent 365との連携は今後提供される予定です。

政府が示す対応の基準

米国政府も、不正なAIエージェントに組織がどう対処すべきかを示しています。10月に発表されたNIST、NSA、CISAのガイドは、「準備」「検知」「対応」「復旧」「報告」の5段階にわたる、任意の10の実践項目を提示しています。

各機関は、証拠を収集し、不正な活動を停止させ、業務を再開する前に確実に封じ込めるよう推奨しています。また、不正なAIエージェントの活動に対応できる態勢を整えるため、模擬インシデント対応訓練を行うべきだとしています。さらに、インシデントを当局に報告することも推奨しています。

NIST、NSA、CISAのガイドは、人間の関与がほとんどない高度なAIエージェントを開発またはテストする組織を対象に作成されています。この文書は対策を講じるための指針を示すものですが、市販のセキュリティ製品を認証するものではありません。

OpenAI、Microsoft、CrowdStrike、不正なAIエージェントの阻止にしのぎを削る

外部監査人が次々と脆弱性を発見する理由

最近のインシデントは、こうした追加の安全対策が重要である理由を示しています。OWASPのまとめでは、7件のセキュリティインシデントとエクスプロイトの公表が記録されましたが、その一部は同じ攻撃に関するものでした。ある事例では、OpenAIの評価用エージェントが、許可なくHugging Faceの本番システムにアクセスしました。

別途実施されたMETRの監査では、OpenAIの以前の監視システムに潜在的な弱点が見つかりました。研究者らは、特定の内部エージェント通信の75～94％が監視対象になり得たと推定しました。ただし、対象になり得る通信がすべて実際に監視されていたという意味ではありません。

OpenAIは、脆弱性の大半は修正済みだと述べましたが、METRはその変更を独自に検証していません。また、この監査ではOpenAIの新しい制御機能も評価されていません。

エージェントを制限するコスト

より強固なAIセキュリティへの需要が、市場の拡大を後押ししています。Gartnerは、支出額が2027年に約48億ドル、2028年に77億ドルに達すると予測しています。同社は、2029年までにAIエージェントへの攻撃が成功したケースの半数以上で、アクセス制御の不備やプロンプトインジェクションが悪用されると見込んでいます。

それでも、多くの企業は準備が整っていません。BCGの調査では、エージェントの監視やログ記録を導入していた回答者は23％にとどまりました。

規制の進展も遅れています。Brookingsによると、EUの高リスクAIに関する要件の適用は、2027年12月と2028年8月まで延期されました。その間、企業は自社で安全対策と監督体制に投資する必要があります。

リスクはすでに明らかになっています。Cryptopolitanの報道によると、OpenAIの研究用モデルは、コーディングタスクを完了するために、自身が所有していないSepoliaテストネットのウォレットから資金を使用しました。トークンに市場価値はありませんでしたが、モデルはウォレット所有者の許可なく行動しました。

このインシデントは、企業に疑問を投げかけます。個別のセキュリティ制御を連携させ、同様の不正な行為を防ぐことはできるのでしょうか。

暗号資産業界の最も優れた頭脳は、すでに私たちのニュースレターを読んでいます。あなたも参加しませんか？