Em viagem, fiquei hospedado em hotel; no meio da madrugada não conseguia dormir e, por impulso, pensei em perguntar ao AI para revisar, uma a uma, algumas posições de cauda longa na minha carteira: se vale a pena mexer. Quando cliquei na caixa de entrada, bem naquele instante eu recolhi a mão. Esse tipo de coisa, rodar em um modelo público, equivale a entregar as minhas posições copiadas para um backend que eu nem conheço. Melhor mudar para a Private Inference do @OpenGradient ; queria ver, mas nem dá para enxergar o conteúdo do que eles dizem. $AGLD
Eu dividi o mesmo problema de posição em cinco formas de pergunta, rodei duas rodadas na Private Inference e, ao todo, dez respostas foram agregadas junto, além de eu capturar metadados de requisição no lado do nó para comparação. O resultado foi bem limpo: o nó só vê um trecho de carga útil criptografada e uma etiqueta de roteamento; o texto em claro que o modelo recebe existe apenas por pouco tempo dentro do enclave TEE; antes de sair do enclave ele já é apagado. A rota de transferência passa por Oblivious HTTP, e a origem da requisição também é lavada.
O debate público sobre Private Inference, em geral, fica em discutir uma perspectiva de usuário: “ninguém vai me olhar minhas coisas pessoais”. O que a OpenGradient faz de verdade, mais a fundo, é transformar esse ato de inferência — que naturalmente é centralizado — em um cálculo descartável em que nem os nós veem, nem os operadores veem. O TEE executa de forma confiável; o Oblivious HTTP corta a identidade; e a Verification Layer, depois, fornece uma prova de que a execução foi correta. $VELVET
Também mudei os indicadores de observação. Eu não me importo com quantas conversas privadas a OpenGradient roda; eu observo os dados anti-consenso: quantas requisições de inferência ficam o tempo todo sem sair do TEE diariamente, e qual a proporção delas que geram recibos verificáveis publicamente. A primeira é só volume de tráfego; a segunda é a evidência de que essa cadeia de privacidade realmente está funcionando.
Se $OPG apenas estiver cobrando taxas de computação para uma única inferência privada, então ela parece mais um token de cobrança de largura de banda criptografada; mas se, no futuro, nós TEE fizerem caução, o roteamento de privacidade, a emissão de recibos de verificação, punições por violação e a compensação por custódia de dados sensíveis se formarem em um ciclo fechado em torno dela, então o que ela suporta deixa de ser um token de cobrança e passa a ser a unidade de caução de confiança da rede de computação privada.
Sem pressa para tirar conclusão. Inferência com privacidade é uma “via lenta”; a cadeia precisa rodar bem e isso leva muito tempo. Eu pretendo continuar acompanhando as amostras entregues pela rede principal da OpenGradient e pelas partes que forem se integrando. #opg