今日はプライベート推論のドキュメントを確認してみたんですが、2ホップのアーキテクチャに思った以上に時間を取られました。

OpenGradientのプライベート推論にプロンプトを送ると、あなたの依頼の異なる部分を扱う、完全に別々の2つのエンティティが対応します。リレーはあなたのIPアドレスは見えますが、読めない暗号化された塊しか受け取りません。エンクレーブはあなたのプロンプトを復号できますが、見えるのはリレーのIPだけで、あなたのIPは見ません。どちらの当事者単独でも、「あなたが誰か」と「あなたが何と言ったか」を結び付けることはできません。

この分離はシンプルに聞こえますが、その実装の下ではそう簡単ではありません。あなたのプロンプトは、特定のアテステーション済みエンクレーブビルドに紐づいた公開鍵を使って、デバイス上でHPKEでシール（封入）されます。そのエンクレーブのハードウェアだけが秘密鍵を保持し、秘密鍵はエンクレーブのメモリ外へ出ることはありません。リレーは読み取れない不透明なバイト列を転送します。エンクレーブは復号し、推論を実行し、ハードウェア境界の内側で応答に署名して、それをシールした状態で送り返します。

私の考え方を実際に動かしたのは、これらが始まる前にあるアテステーション（認証）ステップです。あなたのデバイスが何かを暗号化する前に、デバイスはエンクレーブの公開鍵を取得し、それをAWS Nitroのアテステーション文書と照合し、さらにそのアテステーションをオンチェーンのTEEレジストリで照合します。あなたは、その鍵が正当なエンクレーブに属することを「信頼」しているのではありません。プロンプトの最初の1バイトが暗号化される前に、暗号学的に検証しているのです。

ドキュメントが明確に「スコープ外」としている部分が、特に腰を据えて考えるべきポイントです。トラフィックのタイミングや量は、両方のホップを監視しているネットワーク観測者には引き続き見えます。コンテンツとアイデンティティは保護されています。多くのアプリケーションでは、このトレードオフで十分です。本当に機密性の高い導入では、そのギャップを事前に計画しておく必要があります。

プロンプトが見えないとしても、あなたのトラフィックのパターンが見えるなら、コンテンツ保護は実際のところどれくらいのプライバシーを提供しているのでしょうか？
@OpenGradient

#opg $OPG