El verdadero cuello de botella en el entrenamiento distribuido en GPUs de consumo no es solo el cómputo: es la relación entre la latencia de red y el tiempo de entrenamiento.
La mayoría de los frameworks hace sincronización continua después de cada paso de entrenamiento. Esto significa que tus GPUs están inactivas esperando a que las actualizaciones de gradientes se propaguen entre nodos, desperdiciando por completo ciclos de cómputo.
El problema: la E/S de red y la computación compiten por los recursos en lugar de solaparse. Tu RTX 4090 podría estar procesando el siguiente lote mientras los gradientes se sincronizan, pero en su lugar está bloqueada.
La agregación inteligente asíncrona de gradientes o las actualizaciones de parámetros con retraso podrían mantener las GPUs saturadas. Piensa en ring-allreduce con canalización (pipelining) o incluso en tolerancia a gradientes obsoletos.
$RAVEN aparentemente está abordando esto: vale la pena comprobar si están haciendo un verdadero solapamiento entre cómputo y comunicación asíncronos, o si simplemente están comercializando el entrenamiento distribuido como algo novedoso.
La mayoría de los frameworks hace sincronización continua después de cada paso de entrenamiento. Esto significa que tus GPUs están inactivas esperando a que las actualizaciones de gradientes se propaguen entre nodos, desperdiciando por completo ciclos de cómputo.
El problema: la E/S de red y la computación compiten por los recursos en lugar de solaparse. Tu RTX 4090 podría estar procesando el siguiente lote mientras los gradientes se sincronizan, pero en su lugar está bloqueada.
La agregación inteligente asíncrona de gradientes o las actualizaciones de parámetros con retraso podrían mantener las GPUs saturadas. Piensa en ring-allreduce con canalización (pipelining) o incluso en tolerancia a gradientes obsoletos.
$RAVEN aparentemente está abordando esto: vale la pena comprobar si están haciendo un verdadero solapamiento entre cómputo y comunicación asíncronos, o si simplemente están comercializando el entrenamiento distribuido como algo novedoso.
