128GB的Spark想跑770B的Hy4?有人已经试出了一条路,只是速度还不太能看

Hy4开源,只看激活参数49B,容易以为一台128GB的Spark就能扛下来。可它总参数是770B,FP8精度下也要七百多GB,按常规跑法,这些权重得全部装得下。

换个思路呢?每次只从硬盘把当下用到的那部分专家读进来。

还真有人这么干了。DeepSeek原版权重,一台Spark,专家从硬盘现读,跑出来4.4 tok/s。

路是通的,但这个速度离日常使用还差得远。等哪天能到40 tok/s左右,单机跑这类大模型再认真考虑也不迟。