هل يستطيع جهاز Spark بسعة 128GB تشغيل Hy4 ذي 770B؟ لقد وجد أحدهم طريقة بالفعل، لكن السرعة لا تزال غير مقبولة

Hy4 مفتوح المصدر، وبالنظر فقط إلى معلمات التنشيط البالغة 49B، قد يظن المرء بسهولة أن جهاز Spark بسعة 128GB قادر على تشغيله. لكن إجمالي معلماته يبلغ 770B، وحتى بدقة FP8 يحتاج إلى أكثر من 700GB. وبالطريقة التقليدية، يجب أن تتسع الذاكرة لجميع هذه الأوزان.

ماذا لو اتبعنا نهجًا مختلفًا؟ نقرأ في كل مرة من القرص الخبراء المطلوبين في تلك اللحظة فقط.

وقد فعل أحدهم ذلك بالفعل. باستخدام الأوزان الأصلية لـDeepSeek وجهاز Spark واحد، قرأ الخبراء مباشرةً من القرص، وحقق سرعة 4.4 tok/s.

الطريقة تنجح، لكن هذه السرعة لا تزال بعيدة عن أن تكون مناسبة للاستخدام اليومي. عندما تصل السرعة يومًا ما إلى نحو 40 tok/s، عندها يمكن التفكير بجدية في تشغيل هذا النوع من النماذج الضخمة على جهاز واحد.