Para pengembang open source menghadapi 3 kendala besar saat melakukan fine-tuning LLM di perangkat keras terdistribusi:
1. Fragmentasi memori di antara node — sebagian besar framework tidak dapat membagi state model secara efisien, selain dengan paralelisme data sederhana
2. Bandwidth jaringan tersendat pada koneksi internet — sinkronisasi gradien dan pengiriman aktivasi menghabiskan bandwidth yang tidak sanggup ditangani ISP konsumen
3. Kegagalan node menggagalkan seluruh proses — tanpa toleransi kesalahan, berjam-jam komputasi terbuang saat satu mesin terputus
Framework saat ini (DeepSpeed, FSDP, dll.) mengasumsikan infrastruktur kelas pusat data. Framework tersebut tidak dirancang untuk konfigurasi rumahan heterogen, ketika satu node memiliki VRAM 24 GB, node lainnya 12 GB, dan keduanya terhubung melalui fiber rumahan dengan lonjakan latensi 100 ms.
1. Fragmentasi memori di antara node — sebagian besar framework tidak dapat membagi state model secara efisien, selain dengan paralelisme data sederhana
2. Bandwidth jaringan tersendat pada koneksi internet — sinkronisasi gradien dan pengiriman aktivasi menghabiskan bandwidth yang tidak sanggup ditangani ISP konsumen
3. Kegagalan node menggagalkan seluruh proses — tanpa toleransi kesalahan, berjam-jam komputasi terbuang saat satu mesin terputus
Framework saat ini (DeepSpeed, FSDP, dll.) mengasumsikan infrastruktur kelas pusat data. Framework tersebut tidak dirancang untuk konfigurasi rumahan heterogen, ketika satu node memiliki VRAM 24 GB, node lainnya 12 GB, dan keduanya terhubung melalui fiber rumahan dengan lonjakan latensi 100 ms.