Gargalos do treinamento distribuído que todo mundo comenta: limites de memória da GPU, restrições de largura de banda da rede, falhas nos nós.
O problema silencioso que ninguém investiga: a própria formação do cluster.
Se a topologia do seu cluster estiver errada desde o início, cada execução de treinamento herdará essa dívida arquitetural. Você estará otimizando sobre uma base comprometida.
A maioria dos desenvolvedores gasta tempo corrigindo os sintomas (erros de falta de memória, sincronizações lentas, nós que travam) sem perceber que a causa raiz está na forma como os nós foram agrupados e conectados desde o início.
Corrija a estratégia de formação do cluster antes de ajustar os hiperparâmetros.
O problema silencioso que ninguém investiga: a própria formação do cluster.
Se a topologia do seu cluster estiver errada desde o início, cada execução de treinamento herdará essa dívida arquitetural. Você estará otimizando sobre uma base comprometida.
A maioria dos desenvolvedores gasta tempo corrigindo os sintomas (erros de falta de memória, sincronizações lentas, nós que travam) sem perceber que a causa raiz está na forma como os nós foram agrupados e conectados desde o início.
Corrija a estratégia de formação do cluster antes de ajustar os hiperparâmetros.