プロンプト注入が本当にリスクを伴うかどうかは、モデルが賢いかどうかではなく、3つの条件が同時にそろうかどうかで判断します。

この記事「AI on Air」選りすぐりの抜粋は、Latent.Space の同部門の最近の番組からのものです。主要な話者は Zico Kolter で、OpenAI 基金の理事、CMU の機械学習学科長、Gray Swan AI の共同創業者です。

▷ まず第一に、エージェントは信頼できない第三者からの外部データを読み取れる必要があります。信頼できる環境でのみ動作し、他人が悪意のある指示をねじ込むのが難しいことが前提です。

▷ 第二に、盗まれる価値のある内部の機密情報にアクセスできなければなりません。単にデータを解析したり文章を生成したりするだけでは、悪い結果に着地点がありません。

▷ 第三に、それらの情報を外部へ送信できる、またはそれによって実際の損害が生じる必要があります。3つが重なって初めて、リスクが成立します。

結論は控えめです。ソフトウェアの脆弱性と同じように、AI も脆弱性が残っている状態でも有効に使えることがあり、リスクがゼロだと徹底的に証明しようとするのは、欠陥ゼロのソフトを追い求めるのと同様で、短期的には現実的ではありません。🪁