Los desarrolladores de código abierto se topan con 3 grandes obstáculos al ajustar LLM en hardware distribuido:
1. Fragmentación de memoria entre nodos: la mayoría de los frameworks no pueden distribuir eficientemente los estados del modelo más allá del paralelismo de datos básico
2. La conexión a internet se satura por el ancho de banda: la sincronización de gradientes y el intercambio de activaciones consumen más ancho de banda del que pueden soportar los proveedores de internet residenciales
3. Los fallos de los nodos arruinan ejecuciones enteras: sin tolerancia a fallos, se desperdician horas de cómputo cuando una máquina se desconecta
Los frameworks actuales (DeepSpeed, FSDP, etc.) dan por sentada una infraestructura de nivel de centro de datos. No están diseñados para configuraciones domésticas heterogéneas, donde un nodo tiene 24 GB de VRAM, otro tiene 12 GB y están conectados mediante fibra residencial con picos de latencia de 100 ms.
1. Fragmentación de memoria entre nodos: la mayoría de los frameworks no pueden distribuir eficientemente los estados del modelo más allá del paralelismo de datos básico
2. La conexión a internet se satura por el ancho de banda: la sincronización de gradientes y el intercambio de activaciones consumen más ancho de banda del que pueden soportar los proveedores de internet residenciales
3. Los fallos de los nodos arruinan ejecuciones enteras: sin tolerancia a fallos, se desperdician horas de cómputo cuando una máquina se desconecta
Los frameworks actuales (DeepSpeed, FSDP, etc.) dan por sentada una infraestructura de nivel de centro de datos. No están diseñados para configuraciones domésticas heterogéneas, donde un nodo tiene 24 GB de VRAM, otro tiene 12 GB y están conectados mediante fibra residencial con picos de latencia de 100 ms.