Je pensais à quelque chose que la plupart des gens négligent quand ils parlent d'IA privée

Tout le monde se concentre sur le fait de savoir si l'entreprise promet de ne pas partager vos données. Presque personne ne demande ce qui se passe au niveau du routage des modèles quand vous passez d'un modèle à l'autre pendant une session

Voici la partie qui compte vraiment

Quand vous envoyez une requête à un modèle d'IA, votre identité et votre message voyagent ensemble par défaut. Le système sait qui a demandé quoi. Même si la réponse est privée, la requête elle-même crée un enregistrement. Changer de modèles en milieu de session multiplie cet enregistrement à travers différents environnements d'inférence

@OpenGradient a dû résoudre cela différemment

Le stripping d'identité se fait sur l'appareil avant que la requête ne parte. Donc, au moment où votre message atteint Claude Fable 5 ou Nous Hermes ou tout modèle d'image dans le Studio, le nœud d'inférence reçoit une requête sans origine attachée. Le modèle répond à la question. Il ne sait jamais de qui était la question

Maintenant, pensez à ce que cela signifie à grande échelle. Des milliers de requêtes frappant simultanément plusieurs points de terminaison de modèles. Chacune étant sans identité au moment de son arrivée. La garantie de la vie privée ne se dégrade pas sous la charge car elle n'a jamais dépendu du point de terminaison pour l'imposer

La plupart des plateformes mettent la vie privée au niveau des politiques. OpenGradient l'a mise au niveau de l'architecture

Ce sont deux problèmes complètement différents avec deux modes de défaillance complètement différents

$OPG #OPG

Que pensez-vous qui casse en premier dans un système d'IA privée sous une vraie charge?