Meu irmão que faz tradução de novelas aqui embaixo veio me perguntar ontem como escolher entre o OpenGradient Chat e a construção local do Llama para inferência. Ele acreditou na história de um post do Reddit que dizia "privacidade absoluta só funciona localmente" e, com isso, acabou gastando 42 mil yuan em uma workstation com duas RTX 5090 para rodar o Llama 3.1 70B. No final, a conta de luz ficou em 380 por mês, e a ventoinha da placa de vídeo acordou a esposa dele às três da manhã. Quando ele tentou atualizar para o Llama 4, a memória não foi suficiente e o modelo travou. Agora, ele queria acessar modelos de ponta como o Claude Fable 5, mas descobriu que não consegue ajustar nada na máquina local. $ESPORTS
Eu ajudei ele a fazer as contas. O Llama 3.1 70B com quantização de 4 bits precisa de, no mínimo, 48GB de VRAM, e uma RTX 5090 tem só 32GB, então precisa de duas placas ou então cair para a versão 8B, que é bem medíocre. Uma workstation capaz de rodar 70B começa na casa dos 40 mil, e se calcular a conta de luz considerando 8 horas de inferência por dia, dá cerca de 1400 por ano. Com a depreciação em três anos, o custo real mensal fica em cerca de 1500, e ele sempre vai estar preso nos modelos open source, sem conseguir acessar os produtos fechados de ponta. No OpenGradient Chat, a barreira de entrada é zero; a chave pública do enclave no celular dele criptografa o prompt em um blob e manda para os Inference Nodes. No enclave TEE, eles usam o pool de recursos de GPU compartilhado do projeto para fazer a inferência e depois criptografam de volta. O hash de attestation na blockchain do protocolo x402 garante que o nó não está bisbilhotando no meio do caminho, e a proteção de privacidade é equivalente à de rodar localmente. Cada chamada custa entre 0.3 a 0.5 $OPG , o que dá menos de 1 yuan. No Model Hub, com mais de 4500 modelos, ele encontra Llama 4, Hermes 4, Claude Fable 5, tudo disponível; se ele quiser mudar para um modelo de ponta, basta selecionar na lista e não precisa fazer uma nova instalação. $SYN
@OpenGradient Essa solução também não é só lucro. O LLM Proxy que roteia para o Claude Fable 5 ainda entra em texto claro no backend da Anthropic, então se ele realmente precisa de um cenário de privacidade extrema, essa via está bloqueada. O tempo de espera nos nós de inferência pode chegar a 12 segundos durante o pico, enquanto a velocidade de geração de tokens na workstation própria é mais estável. A volatilidade do preço do OPG torna os custos de longo prazo imprevisíveis, especialmente no 13º mês, quando tem uma liberação de 25% que pode causar pressão de venda, fazendo com que a fatura mensal suba temporariamente.
Depois de ouvir tudo isso, ele calculou e decidiu colocar a workstation à venda no Xianyu, e focar no OpenGradient Chat. Voltou pra casa pra dormir tranquilo.
#opg