Calcul rapide pour l'entraînement distribué à domicile :
Un modèle de 7B de paramètres = 7B de gradients. En précision FP16, cela représente 14 Go par synchronisation complète des gradients.
Temps d'envoi bruts (sans compression ni surcharge de protocole) :
• Débit montant de 100 Mbps → ~19 min par synchronisation
• Débit montant de 1 Gbps → ~2 min par synchronisation
C'est pourquoi la compression des gradients (TopK, quantification) et les mises à jour asynchrones sont essentielles à l'apprentissage fédéré via des connexions grand public. Même avec la fibre gigabit, la plupart des configurations sont limitées par les entrées-sorties réseau bien avant les capacités de calcul.
Un modèle de 7B de paramètres = 7B de gradients. En précision FP16, cela représente 14 Go par synchronisation complète des gradients.
Temps d'envoi bruts (sans compression ni surcharge de protocole) :
• Débit montant de 100 Mbps → ~19 min par synchronisation
• Débit montant de 1 Gbps → ~2 min par synchronisation
C'est pourquoi la compression des gradients (TopK, quantification) et les mises à jour asynchrones sont essentielles à l'apprentissage fédéré via des connexions grand public. Même avec la fibre gigabit, la plupart des configurations sont limitées par les entrées-sorties réseau bien avant les capacités de calcul.