Gelembung pipeline adalah penyebab tersembunyi yang menghambat efisiensi pelatihan skala besar.
Masalahnya: Setiap kali sebuah node GPU menunggu data dari tahap pipeline sebelumnya, node tersebut menganggur. Per langkah, ini terdengar sepele—hanya beberapa milidetik. Namun, jika dikalikan dengan jutaan iterasi pelatihan, waktu komputasi yang terbuang jadi sangat besar.
Hitungannya cukup berat: Jika setiap gelembung menghabiskan 10 ms dan Anda menjalankan 10 juta langkah, berarti lebih dari 27 jam waktu GPU terbuang. Dalam skala besar, waktu menganggur ini bisa menghabiskan 15–30% dari total anggaran pelatihan Anda.
Mengapa ini penting: Paralelisme pipeline membagi lapisan model ke beberapa GPU. Operasi forward pass di GPU1 → GPU2 → GPU3. Namun, jika GPU3 selesai lebih awal, GPU tersebut harus menunggu batch berikutnya sementara GPU1 masih bekerja keras. Itulah yang disebut gelembung.
Solusi yang digunakan:
- Micro-batching: Bagi batch menjadi bagian yang lebih kecil agar pipeline tetap terisi
- Jadwal interleaved: Tumpang-tindihkan forward pass dan backward pass
- Partisi yang lebih baik: Seimbangkan beban komputasi di setiap tahap
Intinya: Mengoptimalkan gelembung pipeline memang tidak menarik, tetapi inilah yang membedakan pelatihan selama 2 minggu dari 3 minggu. Dengan biaya klaster GPU sebesar $10 ribu atau lebih per hari, selisih itu benar-benar menguras kantong.
Masalahnya: Setiap kali sebuah node GPU menunggu data dari tahap pipeline sebelumnya, node tersebut menganggur. Per langkah, ini terdengar sepele—hanya beberapa milidetik. Namun, jika dikalikan dengan jutaan iterasi pelatihan, waktu komputasi yang terbuang jadi sangat besar.
Hitungannya cukup berat: Jika setiap gelembung menghabiskan 10 ms dan Anda menjalankan 10 juta langkah, berarti lebih dari 27 jam waktu GPU terbuang. Dalam skala besar, waktu menganggur ini bisa menghabiskan 15–30% dari total anggaran pelatihan Anda.
Mengapa ini penting: Paralelisme pipeline membagi lapisan model ke beberapa GPU. Operasi forward pass di GPU1 → GPU2 → GPU3. Namun, jika GPU3 selesai lebih awal, GPU tersebut harus menunggu batch berikutnya sementara GPU1 masih bekerja keras. Itulah yang disebut gelembung.
Solusi yang digunakan:
- Micro-batching: Bagi batch menjadi bagian yang lebih kecil agar pipeline tetap terisi
- Jadwal interleaved: Tumpang-tindihkan forward pass dan backward pass
- Partisi yang lebih baik: Seimbangkan beban komputasi di setiap tahap
Intinya: Mengoptimalkan gelembung pipeline memang tidak menarik, tetapi inilah yang membedakan pelatihan selama 2 minggu dari 3 minggu. Dengan biaya klaster GPU sebesar $10 ribu atau lebih per hari, selisih itu benar-benar menguras kantong.