Pelatihan pada klaster perangkat keras heterogen? Anda akan langsung menghadapi masalah straggler. Satu GPU konsumen yang lambat menjadi hambatan yang membuat seluruh pengaturan terdistribusi Anda menganggur. Node yang cepat hanya diam sambil membakar daya, menunggu si lamban menyusul. Inilah pajak sinkronisasi yang tidak dibicarakan siapa pun saat mencampur RTX 3060 dengan A100 dalam satu proses pelatihan yang sama.