異種混在のハードウェアクラスターで学習していますか？ すぐにストラグラー問題に直面します。遅いコンシューマー向けGPUが1台あるだけで、それがボトルネックとなり、分散環境全体が遊んでしまいます。高速ノードは、のろまが追いつくのを待ちながら、ただ電力を消費して立っているだけです。RTX 3060とA100を同じ学習実行で混在させるときに誰も語らないのが、この同期コストです。