Faire tourner Hy4, un modèle de 770B, sur un Spark de 128 Go ? Quelqu’un a déjà trouvé une piste, mais la vitesse reste encore peu convaincante.

Hy4 est open source. En ne regardant que ses 49B paramètres actifs, on pourrait facilement croire qu’un Spark de 128 Go peut le faire tourner. Mais il compte 770B paramètres au total et nécessite plus de 700 Go en précision FP8. Avec la méthode habituelle, il faut pouvoir charger tous ces poids.

Et si on procédait autrement ? Lire depuis le disque, à chaque étape, uniquement les experts dont on a besoin à ce moment-là.

Eh bien, quelqu’un l’a fait. Avec les poids originaux de DeepSeek et un seul Spark, les experts sont lus directement depuis le disque : résultat, 4,4 tok/s.

La méthode fonctionne, mais cette vitesse est encore loin d’être suffisante pour un usage quotidien. Le jour où elle atteindra environ 40 tok/s, on pourra envisager plus sérieusement de faire tourner ce genre de grand modèle sur une seule machine.