Сможет ли Spark с 128 ГБ памяти запустить Hy4 на 770B параметров? Кто-то уже нашёл способ — правда, скорость пока не впечатляет.

Hy4 с открытым исходным кодом: если смотреть только на 49B активируемых параметров, легко подумать, что с моделью справится один Spark с 128 ГБ памяти. Но всего в ней 770B параметров, а в формате FP8 для них требуется более 700 ГБ. При обычном запуске все веса должны помещаться в памяти.

А если поступить иначе? Каждый раз загружать с диска только тех экспертов, которые нужны в данный момент.

Кто-то уже так и сделал. Оригинальные веса DeepSeek, один Spark, эксперты загружаются прямо с диска — и скорость составляет 4,4 токена/с.

Способ работает, но до скорости, комфортной для повседневного использования, ещё далеко. Когда она достигнет примерно 40 токенов/с, тогда и можно будет всерьёз задуматься о запуске таких больших моделей на одном компьютере.