#opg $OPG Sesuatu tentang distribusi model besar tidak diskalakan seperti yang orang harapkan.
Dulu saya mengira bagian tersulit adalah menyimpan model. Lalu saya menyaksikan proses retry memindahkan gigabyte yang sama lagi melintasi jaringan dan menyadari biayanya telah bergeser.
ID Blob mengurangi biaya kesepakatan, bukan jarak. Model tetap harus menempuh perjalanan, diverifikasi, dan bersaing untuk mendapatkan ruang lokal. Model-model populer perlahan menjadi infrastruktur. Model langka tetap menjadi peristiwa bandwidth yang berpotensi terjadi.
Mulai terasa lebih seperti koordinasi cache dalam kondisi ketidakpastian daripada sekadar penyimpanan.
Pada skala besar, pertanyaannya mungkin bukan apakah model itu ada, melainkan apakah cukup banyak node memutuskan bahwa model tersebut layak dipertahankan sebelum permintaan cold-start yang terjadi secara bersamaan tiba. Saya tidak yakin itu adalah sistem yang sama
@OpenGradient
#OPG #OpenGradient #AIInfrastructure $OPG
Dulu saya mengira bagian tersulit adalah menyimpan model. Lalu saya menyaksikan proses retry memindahkan gigabyte yang sama lagi melintasi jaringan dan menyadari biayanya telah bergeser.
ID Blob mengurangi biaya kesepakatan, bukan jarak. Model tetap harus menempuh perjalanan, diverifikasi, dan bersaing untuk mendapatkan ruang lokal. Model-model populer perlahan menjadi infrastruktur. Model langka tetap menjadi peristiwa bandwidth yang berpotensi terjadi.
Mulai terasa lebih seperti koordinasi cache dalam kondisi ketidakpastian daripada sekadar penyimpanan.
Pada skala besar, pertanyaannya mungkin bukan apakah model itu ada, melainkan apakah cukup banyak node memutuskan bahwa model tersebut layak dipertahankan sebelum permintaan cold-start yang terjadi secara bersamaan tiba. Saya tidak yakin itu adalah sistem yang sama
@OpenGradient
#OPG #OpenGradient #AIInfrastructure $OPG
