Обучение на неоднородных аппаратных кластерах? Вы сразу столкнётесь с проблемой отстающего узла. Один медленный потребительский GPU становится узким местом, из-за которого вся ваша распределённая конфигурация простаивает. Быстрые узлы просто стоят без дела, расходуя электроэнергию в ожидании, пока тихоход догонит их. Это цена синхронизации, о которой никто не говорит, когда в одном обучающем запуске смешивают RTX 3060 и A100.