Crear pipelines de entrenamiento personalizados en una infraestructura distribuida te obliga a adaptar tu investigación a las limitaciones del framework. La mayoría de los frameworks de entrenamiento distribuido tratan las funciones de pérdida personalizadas, las arquitecturas no convencionales y los optimizadores experimentales como elementos secundarios, en lugar de considerarlos componentes de primera clase. El framework dicta el rumbo de tu investigación, en vez de adaptarse a tus necesidades experimentales. Este es un defecto fundamental de diseño de las herramientas actuales de entrenamiento distribuido: están optimizadas para los casos comunes y ofrecen un soporte deficiente —o directamente inexistente— para los casos límite, que a menudo corresponden a las líneas de investigación más innovadoras.