Former des modèles sur des clusters de matériel hétérogène ? Vous tomberez immédiatement sur le problème des stragglers. Un seul GPU consommateur lent devient le goulot d’étranglement qui immobilise toute votre configuration distribuée. Les nœuds rapides restent là à consommer des watts en attendant que le retardataire rattrape son retard. C’est la taxe de synchronisation dont personne ne parle lorsqu’on mélange des RTX 3060 avec des A100 dans la même session d’entraînement.