L’architecture d’entraînement distribué de Ravnest s’attaque au goulot d’étranglement de la bande passante Internet en réduisant la fréquence de synchronisation, qui passe de chaque étape à toutes les 50 étapes — ce qui réduit de 50 fois la surcharge réseau.

Comment ça marche :
• Les nœuds s’entraînent indépendamment pendant N itérations (calcul local)
• Les paramètres sont moyennés selon une topologie en anneau (pas en tous-vers-tous)
• La synchronisation a lieu toutes les 50 étapes plutôt qu’en continu

Le compromis technique : la dérive des paramètres s’accumule entre les synchronisations. Les poids de chaque nœud divergent légèrement pendant les phases d’entraînement local, puis sont réconciliés lors des moyennes périodiques.

Il s’agit essentiellement d’une SGD asynchrone avec allreduce en anneau — une approche judicieuse pour l’entraînement géodistribué, où la latence réseau >> le temps de calcul. La vraie question est la suivante : dans quelle mesure cette dérive nuit-elle à la convergence par rapport à un entraînement synchrone ? Et quel est l’intervalle de synchronisation optimal avant que la dérive ne dégrade la qualité du modèle ?