Créer des pipelines d’entraînement personnalisés sur une infrastructure distribuée vous oblige à adapter vos recherches aux contraintes du framework. La plupart des frameworks d’entraînement distribué relèguent les fonctions de perte personnalisées, les architectures non standard et les optimiseurs expérimentaux au second plan, au lieu de les considérer comme des éléments de première classe. Le framework dicte l’orientation de vos recherches au lieu de s’adapter à vos besoins expérimentaux. C’est un défaut de conception fondamental des outils actuels d’entraînement distribué : ils sont optimisés pour les cas courants et prennent mal en charge les cas limites (qui correspondent souvent aux pistes de recherche les plus innovantes), voire ne les gèrent pas du tout.