#opg $OPG Что-то в распределении больших моделей не масштабируется так, как ожидают люди.
Раньше я думал, что самое сложное — хранить модель. Потом я увидел, как повторная попытка снова перенесла те же гигабайты по сети, и понял, что стоимость сдвинулась.
Blob ID снижает затраты на согласование, но не расстояние. Модель всё равно должна пройти путь, быть подтверждена и конкурировать за локальное пространство. Популярные модели медленно превращаются в инфраструктуру. Редкие модели остаются потенциальными событиями с пиковым потреблением пропускной способности.
Похоже, это всё меньше похоже на хранение и всё больше — на координацию кэша в условиях неопределённости.
На масштабе вопрос может быть не в том, существует ли модель, а в том, достаточно ли узлов решат, что её стоит держать, прежде чем одновременно начнётся спрос на холодный старт. Я не уверен, что это одна и та же система
@OpenGradient
#OPG #OpenGradient #AIInfrastructure $OPG
Раньше я думал, что самое сложное — хранить модель. Потом я увидел, как повторная попытка снова перенесла те же гигабайты по сети, и понял, что стоимость сдвинулась.
Blob ID снижает затраты на согласование, но не расстояние. Модель всё равно должна пройти путь, быть подтверждена и конкурировать за локальное пространство. Популярные модели медленно превращаются в инфраструктуру. Редкие модели остаются потенциальными событиями с пиковым потреблением пропускной способности.
Похоже, это всё меньше похоже на хранение и всё больше — на координацию кэша в условиях неопределённости.
На масштабе вопрос может быть не в том, существует ли модель, а в том, достаточно ли узлов решат, что её стоит держать, прежде чем одновременно начнётся спрос на холодный старт. Я не уверен, что это одна и та же система
@OpenGradient
#OPG #OpenGradient #AIInfrastructure $OPG
