Hôm nay tôi đã xem các tài liệu suy luận riêng tư và kiến trúc hai chặng khiến tôi bị chậm lại lâu hơn dự kiến.

Khi bạn gửi một prompt qua suy luận riêng tư của OpenGradient, hai thực thể hoàn toàn tách biệt sẽ xử lý các phần khác nhau trong yêu cầu của bạn. Bên trung chuyển nhìn thấy địa chỉ IP của bạn nhưng chỉ nhận được một khối dữ liệu được mã hoá mà nó không thể đọc. Môi trường tách biệt (enclave) giải mã prompt của bạn nhưng chỉ thấy IP của bên trung chuyển, không bao giờ thấy IP của bạn. Không bên nào có thể tự mình ghép nối danh tính của bạn với những gì bạn đã nói.

Sự tách biệt đó nghe có vẻ đơn giản. Phần hiện thực hóa phía bên dưới lại không. Prompt của bạn được HPKE niêm phong trên thiết bị của bạn bằng một khóa công khai gắn với một bản dựng enclave đã được chứng thực cụ thể. Chỉ phần cứng của enclave đó mới giữ khóa riêng, và khóa này không bao giờ rời khỏi bộ nhớ enclave. Bên trung chuyển chuyển tiếp các byte không đọc được theo dạng “opaque” mà nó không thể giải mã. Enclave giải mã, chạy suy luận, ký phản hồi ngay trong ranh giới phần cứng, rồi gửi lại phản hồi đã được niêm phong.

Điều thực sự làm thay đổi cách nghĩ của tôi là bước chứng thực (attestation) trước khi mọi thứ xảy ra. Trước khi thiết bị của bạn mã hoá bất cứ thứ gì, nó sẽ lấy khóa công khai của enclave và xác minh nó dựa trên tài liệu chứng thực của AWS Nitro, sau đó đối chiếu bản chứng thực đó với sổ đăng ký TEE trên chuỗi (on chain TEE Registry). Bạn không chỉ tin rằng khóa thuộc về một enclave hợp lệ. Bạn đang xác minh nó một cách mật mã trước khi bất kỳ một byte nào trong prompt của bạn được mã hoá.

Điều đáng để ngồi lại suy nghĩ nằm ở phần tài liệu nêu rõ là nằm ngoài phạm vi. Thời điểm và lưu lượng truy cập vẫn có thể được nhìn thấy đối với một người quan sát mạng theo dõi cả hai chặng. Nội dung và danh tính được bảo vệ. Thông tin siêu dữ liệu về việc khi nào và gửi bao nhiêu thì không. Với đa số ứng dụng, sự đánh đổi đó là chấp nhận được. Với các triển khai thực sự nhạy cảm, khoảng trống này cần phải lên kế hoạch để xử lý.

Nếu prompt của bạn là vô hình nhưng mô hình lưu lượng truy cập thì không, thì nội dung được bảo vệ mang lại mức độ riêng tư thực sự đến đâu trong thực tế?
@OpenGradient

#opg $OPG