Um Spark de 128 GB consegue executar o Hy4 de 770B? Alguém já encontrou um jeito, mas a velocidade ainda deixa a desejar

O Hy4 é de código aberto e, olhando apenas para os 49B de parâmetros ativos, é fácil pensar que um Spark de 128 GB dá conta. Mas o total é de 770B de parâmetros e, mesmo em precisão FP8, são necessários mais de 700 GB. No modo convencional, todos esses pesos precisam caber na memória.

E se tentarmos de outra forma? Carregar do disco, a cada vez, apenas os especialistas necessários naquele momento.

Alguém realmente fez isso. Com os pesos originais do DeepSeek e um único Spark, carregando os especialistas diretamente do disco, conseguiu 4,4 tok/s.

O método funciona, mas essa velocidade ainda está longe de ser suficiente para o uso diário. Quando chegar a cerca de 40 tok/s, aí sim valerá a pena considerar executar esse tipo de modelo grande em uma única máquina.