Treinando em clusters de hardware heterogêneos? Você vai esbarrar imediatamente no problema dos retardatários. Uma GPU de consumo lenta se torna o gargalo que deixa toda a sua configuração distribuída ociosa. Nós rápidos ficam ali só consumindo energia enquanto esperam o mais lento acompanhar. Esse é o custo da sincronização de que ninguém fala quando se misturam RTX 3060s com A100s na mesma execução de treinamento.