Desenvolvedores de código aberto enfrentam 3 grandes obstáculos ao ajustar LLMs em hardware distribuído:
1. Fragmentação da memória entre nós — a maioria dos frameworks não consegue dividir os estados do modelo de forma eficiente para além do paralelismo de dados básico
2. Gargalos de largura de banda em conexões à internet — a sincronização de gradientes e a transferência de ativações consomem mais largura de banda do que os provedores de internet residenciais conseguem oferecer
3. Falhas nos nós que interrompem execuções inteiras — sem tolerância a falhas, horas de processamento são desperdiçadas quando uma máquina cai
Os frameworks atuais (DeepSpeed, FSDP etc.) pressupõem uma infraestrutura de nível de datacenter. Eles não foram desenvolvidos para configurações domésticas heterogêneas, nas quais um nó tem 24 GB de VRAM, outro tem 12 GB, e ambos estão conectados por fibra residencial com picos de latência de 100 ms.
1. Fragmentação da memória entre nós — a maioria dos frameworks não consegue dividir os estados do modelo de forma eficiente para além do paralelismo de dados básico
2. Gargalos de largura de banda em conexões à internet — a sincronização de gradientes e a transferência de ativações consomem mais largura de banda do que os provedores de internet residenciais conseguem oferecer
3. Falhas nos nós que interrompem execuções inteiras — sem tolerância a falhas, horas de processamento são desperdiçadas quando uma máquina cai
Os frameworks atuais (DeepSpeed, FSDP etc.) pressupõem uma infraestrutura de nível de datacenter. Eles não foram desenvolvidos para configurações domésticas heterogêneas, nas quais um nó tem 24 GB de VRAM, outro tem 12 GB, e ambos estão conectados por fibra residencial com picos de latência de 100 ms.