La réduction globale en anneau permet aux nœuds d’entraînement distribués de synchroniser leurs gradients sans serveur de paramètres central. Au lieu de faire transiter les données par une seule machine, chaque nœud les transmet à son voisin selon une topologie en anneau.

Fonctionnement : le nœud A envoie les données à B, B à C, puis C les renvoie à A. Chaque nœud réduit (calcule la moyenne de) les gradients reçus avec les siens, puis les transmet. Après N étapes dans un anneau de N nœuds, chacun dispose de la moyenne globale.

La particularité de Ravnest : la réduction globale parallèle à anneaux multiples. Plusieurs anneaux fonctionnent simultanément au sein du même cluster. L’espace des paramètres est divisé en blocs, chacun disposant de son propre anneau. Cela réduit le nombre de cycles de communication et permet une meilleure évolutivité avec plus de 100 workers.

Pourquoi c’est important : entraîner de grands modèles sur du matériel standard, sans infrastructure à l’échelle d’AWS. Aucun point de défaillance unique et une meilleure utilisation de la bande passante qu’avec une topologie en étoile.