兄弟 yang ngerjain terjemahan novel di bawah kemarin nanya tentang OpenGradient Chat sama opsi bangun Llama lokal, dia udah percaya sama omongan di Reddit enam bulan lalu yang bilang "privasi absolut cuma bisa dijalankan lokal", makanya dia ngeluarin 4.2 juta RMB buat bangun workstation dengan dua RTX 5090 buat jalanin Llama 3.1 70B, eh sekarang biaya listrik tiap bulan 380 yuan, kipas GPU bikin istrinya bangun jam tiga pagi, dan pas mau upgrade ke Llama 4, VRAM-nya nggak cukup sampai modelnya freeze, sekarang dia pengen coba Claude Fable 5 yang model tertutup tapi nggak bisa diatur lokal.$ESPORTS
Aku bantu dia hitung-hitung. Llama 3.1 70B 4bit quantization butuh minimal 48GB VRAM, 5090 single card cuma 32GB nggak cukup, harus pakai dual card atau downgrade ke versi 8B yang lebih lemah, workstation yang bisa jalanin 70B itu hardware-nya mulai dari 40 ribu, biaya listrik kalo dihitung 8 jam sehari buat inference setahun 1400, depresiasi tiga tahun jadi biaya bulanan yang sebenarnya 1500 yuan, dan dia akan selalu terjebak di model open-source, barang tertutup yang terbaru nggak bisa dijangkau lokal. OpenGradient Chat di sini nggak ada batasan hardware, public key enclave-nya ada di ponselnya, jadi prompt-nya dienkripsi jadi blob dan dikirim ke Inference Nodes, di enclave TEE pakai resource pool GPU yang dibagi oleh proyek untuk jalanin inference terus dienkripsi lagi untuk dikirim balik, attestation hash di chain protokol x402 buktikan node-nya nggak mengintip, tingkat perlindungan privasi sama kuatnya dengan jalanin lokal, sekali panggil 0.3 sampai 0.5 $OPG kurang dari 1 yuan. Model Hub ada lebih dari 4500 model, Llama 4, Hermes 4, Claude Fable 5 semua ada, dia bisa langsung ganti model terbaru tanpa perlu redeploy.$SYN
@OpenGradient Ini juga bukan murni profit. LLM Proxy yang ngeroute ke Claude Fable 5 di enclave keluar tetap dalam bentuk plaintext ke backend Anthropic, kalo mau bikin skenario privasi yang ekstrem, jalur ini terhalang. Inferencing Nodes ada antrian delay yang bisa dilihat di Dune dashboard, peak bisa sampai 12 detik, workstation yang dibangun sendiri malah lebih stabil dalam menghasilkan token. Harga OPG yang fluktuatif bikin biaya jangka panjang nggak bisa terkunci, pas bulan ke-13 ada 25% unlock, bisa jadi ada tekanan jual.
Dia setelah denger hitung-hitungan, workstation dijual di Xianyu, OpenGradient Chat dipasang di dock, pulang tidur.
#opg
Aku bantu dia hitung-hitung. Llama 3.1 70B 4bit quantization butuh minimal 48GB VRAM, 5090 single card cuma 32GB nggak cukup, harus pakai dual card atau downgrade ke versi 8B yang lebih lemah, workstation yang bisa jalanin 70B itu hardware-nya mulai dari 40 ribu, biaya listrik kalo dihitung 8 jam sehari buat inference setahun 1400, depresiasi tiga tahun jadi biaya bulanan yang sebenarnya 1500 yuan, dan dia akan selalu terjebak di model open-source, barang tertutup yang terbaru nggak bisa dijangkau lokal. OpenGradient Chat di sini nggak ada batasan hardware, public key enclave-nya ada di ponselnya, jadi prompt-nya dienkripsi jadi blob dan dikirim ke Inference Nodes, di enclave TEE pakai resource pool GPU yang dibagi oleh proyek untuk jalanin inference terus dienkripsi lagi untuk dikirim balik, attestation hash di chain protokol x402 buktikan node-nya nggak mengintip, tingkat perlindungan privasi sama kuatnya dengan jalanin lokal, sekali panggil 0.3 sampai 0.5 $OPG kurang dari 1 yuan. Model Hub ada lebih dari 4500 model, Llama 4, Hermes 4, Claude Fable 5 semua ada, dia bisa langsung ganti model terbaru tanpa perlu redeploy.$SYN
@OpenGradient Ini juga bukan murni profit. LLM Proxy yang ngeroute ke Claude Fable 5 di enclave keluar tetap dalam bentuk plaintext ke backend Anthropic, kalo mau bikin skenario privasi yang ekstrem, jalur ini terhalang. Inferencing Nodes ada antrian delay yang bisa dilihat di Dune dashboard, peak bisa sampai 12 detik, workstation yang dibangun sendiri malah lebih stabil dalam menghasilkan token. Harga OPG yang fluktuatif bikin biaya jangka panjang nggak bisa terkunci, pas bulan ke-13 ada 25% unlock, bisa jadi ada tekanan jual.
Dia setelah denger hitung-hitungan, workstation dijual di Xianyu, OpenGradient Chat dipasang di dock, pulang tidur.
#opg
opg 好用方便
75%
llama 成本稳定
25%
4 Voting • Voting ditutup