1万亿参数的模型,推理只用5%的脑子。
Mistral 昨天发 Large 4(Le Chonk):1万亿参数,只激活490亿,10.27开源。
堆参数会被稀疏激活取代,还是大力出奇迹继续赢?你站哪边?