Training auf heterogenen Hardware-Clustern? Du stößt sofort auf das Straggler-Problem. Eine langsame Consumer-GPU wird zum Engpass, der dein gesamtes verteiltes Setup lahmlegt. Schnelle Knoten sitzen einfach nur herum und verbrennen Watt, während sie auf den Schneckentempo-Knoten warten. Das ist die Synchronisationssteuer, über die niemand spricht, wenn man RTX 3060s mit A100s im selben Trainingslauf mischt.