Criar pipelines de treino personalizados numa infraestrutura distribuída obriga-o a adaptar a sua investigação às limitações da framework. A maioria das frameworks de treino distribuído trata funções de perda personalizadas, arquiteturas não convencionais e otimizadores experimentais como elementos secundários, em vez de os considerar componentes de primeira classe. A framework dita a direção da sua investigação, em vez de se adaptar às suas necessidades experimentais. Esta é uma falha fundamental de conceção das ferramentas atuais de treino distribuído: são otimizadas para os casos comuns e oferecem pouco suporte aos casos extremos (que muitas vezes correspondem às direções de investigação mais inovadoras) ou deixam-nos completamente inoperacionais.