Создание собственных конвейеров обучения на распределённой инфраструктуре заставляет подстраивать исследования под ограничения фреймворка. Большинство фреймворков для распределённого обучения воспринимают пользовательские функции потерь, нестандартные архитектуры и экспериментальные оптимизаторы как нечто второстепенное, а не как полноценные возможности. Фреймворк диктует направление исследований вместо того, чтобы адаптироваться к вашим экспериментальным задачам. Это фундаментальный недостаток в конструкции современных инструментов распределённого обучения: они оптимизированы для типичных случаев, а редкие сценарии (которые зачастую открывают самые инновационные направления исследований) поддерживаются плохо или не работают вовсе.