¿Puede una Spark de 128 GB ejecutar Hy4, de 770B? Alguien ya ha encontrado una forma, aunque la velocidad todavía deja mucho que desear.
Hy4 es de código abierto y, si solo miras sus 49B de parámetros activos, es fácil pensar que una Spark de 128 GB puede con él. Pero tiene 770B de parámetros en total, y en precisión FP8 necesita más de 700 GB. Con el método habitual, habría que cargar todos esos pesos.
¿Y si se hiciera de otra manera? Leer del disco solo los expertos que se necesitan en cada momento.
Pues alguien ya lo ha hecho. Con los pesos originales de DeepSeek y una Spark, cargando los expertos directamente desde el disco, consiguió 4,4 tok/s.
El método funciona, pero esa velocidad todavía está muy lejos de ser práctica para el uso diario. Cuando llegue a unos 40 tok/s, quizá valga la pena plantearse en serio ejecutar este tipo de modelos grandes en un solo equipo.
Hy4 es de código abierto y, si solo miras sus 49B de parámetros activos, es fácil pensar que una Spark de 128 GB puede con él. Pero tiene 770B de parámetros en total, y en precisión FP8 necesita más de 700 GB. Con el método habitual, habría que cargar todos esos pesos.
¿Y si se hiciera de otra manera? Leer del disco solo los expertos que se necesitan en cada momento.
Pues alguien ya lo ha hecho. Con los pesos originales de DeepSeek y una Spark, cargando los expertos directamente desde el disco, consiguió 4,4 tok/s.
El método funciona, pero esa velocidad todavía está muy lejos de ser práctica para el uso diario. Cuando llegue a unos 40 tok/s, quizá valga la pena plantearse en serio ejecutar este tipo de modelos grandes en un solo equipo.
