#opg $OPG Algo sobre a distribuição de grandes modelos não escala do jeito que as pessoas esperam.
Eu costumava achar que a parte difícil era armazenar o modelo. Depois vi uma reexecução movendo os mesmos gigabytes pela rede novamente e percebi que o custo tinha mudado.
Um Blob ID reduz custos de concordância, não distância. O modelo ainda precisa viajar, ser verificado e competir por espaço local. Modelos populares aos poucos viram infraestrutura. Modelos raros permanecem como eventos de uso de banda potencial.
Isso começa a parecer menos armazenamento e mais coordenação de cache sob incerteza.
Em escala, a pergunta pode não ser se o modelo existe, mas se um número suficiente de nós decide que vale a pena mantê-lo antes que chegue uma demanda simultânea de cold-start. Não tenho certeza se esses são os mesmos sistemas
@OpenGradient
#OPG #OpenGradient #AIInfrastructure $OPG
Eu costumava achar que a parte difícil era armazenar o modelo. Depois vi uma reexecução movendo os mesmos gigabytes pela rede novamente e percebi que o custo tinha mudado.
Um Blob ID reduz custos de concordância, não distância. O modelo ainda precisa viajar, ser verificado e competir por espaço local. Modelos populares aos poucos viram infraestrutura. Modelos raros permanecem como eventos de uso de banda potencial.
Isso começa a parecer menos armazenamento e mais coordenação de cache sob incerteza.
Em escala, a pergunta pode não ser se o modelo existe, mas se um número suficiente de nós decide que vale a pena mantê-lo antes que chegue uma demanda simultânea de cold-start. Não tenho certeza se esses são os mesmos sistemas
@OpenGradient
#OPG #OpenGradient #AIInfrastructure $OPG
