Spark 128GB ingin menjalankan Hy4 770B? Ada yang sudah menemukan caranya, hanya saja kecepatannya masih belum memadai
Hy4 sudah open source. Jika hanya melihat parameter aktifnya yang 49B, kita bisa mengira Spark 128GB mampu menjalankannya. Namun, total parameternya 770B. Bahkan dengan presisi FP8, model ini membutuhkan lebih dari 700GB. Dengan cara menjalankan yang biasa, semua bobot tersebut harus muat sekaligus.
Bagaimana kalau memakai cara lain? Setiap kali, hanya bagian pakar yang sedang dibutuhkan yang dibaca dari hard disk.
Ternyata ada yang sudah mencobanya. Dengan bobot asli DeepSeek dan satu Spark, pakar dibaca langsung dari hard disk, dan hasilnya mencapai 4,4 tok/s.
Cara ini memang bisa digunakan, tetapi kecepatannya masih jauh dari cukup untuk pemakaian sehari-hari. Kalau suatu saat kecepatannya bisa mencapai sekitar 40 tok/s, barulah menjalankan model besar seperti ini di satu mesin layak dipertimbangkan dengan serius.
Hy4 sudah open source. Jika hanya melihat parameter aktifnya yang 49B, kita bisa mengira Spark 128GB mampu menjalankannya. Namun, total parameternya 770B. Bahkan dengan presisi FP8, model ini membutuhkan lebih dari 700GB. Dengan cara menjalankan yang biasa, semua bobot tersebut harus muat sekaligus.
Bagaimana kalau memakai cara lain? Setiap kali, hanya bagian pakar yang sedang dibutuhkan yang dibaca dari hard disk.
Ternyata ada yang sudah mencobanya. Dengan bobot asli DeepSeek dan satu Spark, pakar dibaca langsung dari hard disk, dan hasilnya mencapai 4,4 tok/s.
Cara ini memang bisa digunakan, tetapi kecepatannya masih jauh dari cukup untuk pemakaian sehari-hari. Kalau suatu saat kecepatannya bisa mencapai sekitar 40 tok/s, barulah menjalankan model besar seperti ini di satu mesin layak dipertimbangkan dengan serius.
