Hari ini saya mendapat pencerahan kecil tentang realitas.
Permintaan inferensi gagal tiga kali dalam waktu kurang dari satu menit.
Pikiran pertama saya adalah, jaringan pasti kelebihan beban.
Lalu saya membuka dasbor.
Banyak node yang online.
Jadi saya mulai menggali lebih dalam.
Satu node tidak memiliki model yang saya butuhkan. Node lainnya tidak memiliki kapasitas gratis. Node ketiga bisa memproses permintaan tetapi tidak bisa memberikan jalur verifikasi yang diharapkan aplikasi.
Saat itulah sesuatu terlintas di pikiran saya.
Saya telah menghabiskan banyak waktu melihat infrastruktur melalui angka jumlah operator.
Lebih banyak operator. Angka yang lebih besar. Jaringan yang lebih sehat.
Tapi pengguna tidak mengalami hitungan node.
Mereka mengalami hasil.
Sebuah permintaan bisa berhasil atau tidak.
Dan tiba-tiba, pertanyaannya bukan:
"Berapa banyak node yang online?"
Tapi:
"Apa probabilitas bahwa permintaan ini bisa menemukan model yang tepat, perangkat keras yang tersedia, latensi yang dapat diterima, dan jalur bukti yang valid pada saat yang sama?"
Itu adalah cara berpikir yang sama sekali berbeda tentang ketahanan.
Saya bahkan mulai bertanya-tanya berapa banyak operator yang 'independen' benar-benar independen. Beberapa mungkin berbagi region cloud yang sama, ketergantungan perangkat lunak, atau alasan ekonomi untuk mematikan ketika imbalan melemah.
Mungkin itulah sebabnya saya berhenti menganggap partisipasi sebagai hitungan jumlah.
Saya sekarang memperhatikan probabilitas.
Karena infrastruktur tidak diukur dari seberapa banyak operator yang bilang, "Saya di sini."
Ini diukur dari apakah kemampuan yang tepat muncul tepat ketika pengguna nyata membutuhkannya.
Dan saya pikir kegagalan terbesar dalam sistem terdistribusi jarang berasal dari jumlah node yang terlalu sedikit.
Mereka berasal dari menemukan bahwa semua orang berdiri di tempat yang sama
@OpenGradient #OPG $OPG
Permintaan inferensi gagal tiga kali dalam waktu kurang dari satu menit.
Pikiran pertama saya adalah, jaringan pasti kelebihan beban.
Lalu saya membuka dasbor.
Banyak node yang online.
Jadi saya mulai menggali lebih dalam.
Satu node tidak memiliki model yang saya butuhkan. Node lainnya tidak memiliki kapasitas gratis. Node ketiga bisa memproses permintaan tetapi tidak bisa memberikan jalur verifikasi yang diharapkan aplikasi.
Saat itulah sesuatu terlintas di pikiran saya.
Saya telah menghabiskan banyak waktu melihat infrastruktur melalui angka jumlah operator.
Lebih banyak operator. Angka yang lebih besar. Jaringan yang lebih sehat.
Tapi pengguna tidak mengalami hitungan node.
Mereka mengalami hasil.
Sebuah permintaan bisa berhasil atau tidak.
Dan tiba-tiba, pertanyaannya bukan:
"Berapa banyak node yang online?"
Tapi:
"Apa probabilitas bahwa permintaan ini bisa menemukan model yang tepat, perangkat keras yang tersedia, latensi yang dapat diterima, dan jalur bukti yang valid pada saat yang sama?"
Itu adalah cara berpikir yang sama sekali berbeda tentang ketahanan.
Saya bahkan mulai bertanya-tanya berapa banyak operator yang 'independen' benar-benar independen. Beberapa mungkin berbagi region cloud yang sama, ketergantungan perangkat lunak, atau alasan ekonomi untuk mematikan ketika imbalan melemah.
Mungkin itulah sebabnya saya berhenti menganggap partisipasi sebagai hitungan jumlah.
Saya sekarang memperhatikan probabilitas.
Karena infrastruktur tidak diukur dari seberapa banyak operator yang bilang, "Saya di sini."
Ini diukur dari apakah kemampuan yang tepat muncul tepat ketika pengguna nyata membutuhkannya.
Dan saya pikir kegagalan terbesar dalam sistem terdistribusi jarang berasal dari jumlah node yang terlalu sedikit.
Mereka berasal dari menemukan bahwa semua orang berdiri di tempat yang sama
@OpenGradient #OPG $OPG