#opg $OPG 大規模モデルの配布は、人々が期待するほどスケールしないようです。

以前は、大変なのはモデルを保存することだと思っていました。ところが、リトライが同じギガバイト分をもう一度ネットワーク越しに移動させるのを見て、コストが移動しているのだと気づきました。

Blob IDは、距離ではなく合意（合意形成）のコストを削減します。モデルはそれでも移動し、検証され、ローカルの空き領域をめぐって競合しなければなりません。人気のモデルはゆっくりとインフラになっていきます。一方で希少なモデルは、潜在的な帯域（バンド幅）イベントにとどまります。

これは、保存というより、不確実性下でのキャッシュ調整のように感じられてきます。

規模が大きくなると、問題はモデルが存在するかどうかではなく、同時にコールドスタート需要が到来する前に、十分な数のノードが「保持する価値がある」と判断するかどうかになるかもしれません。それらが同じシステムだと言えるかは分かりません
@OpenGradient

#OPG #OpenGradient #AIInfrastructure $OPG