異なる世代の一般向けハードウェアを混在させて分散学習を行う場合、フレームワークを選ぶ前に次の5つの質問をしましょう。

ほとんどのフレームワークは異種構成を「サポート」すると謳っていますが、そのために設計されているのと、単に許容しているのとでは大きな違いがあります。適切な質問をすれば、そのフレームワークが実際にあなたの制約を理解しているのか、それともクラスター内で最も性能の低いGPUがボトルネックになるのかが分かります。

技術的な主な違い：動的なピア検出に対応していますか？ノードが1台停止したとき、ワークロードを再分配できますか？勾配の同期では計算速度の違いが考慮されますか？それとも、あなたのRTX 4090は古いGTX 1080を待ってアイドル状態になってしまうのでしょうか？

一般向けのグラフィックカードを組み合わせて使う場合、生の理論スループットよりも、フレームワークのスケジューリングアルゴリズムと通信プロトコルのほうがはるかに重要です。