Les développeurs open source se heurtent à 3 obstacles majeurs lorsqu’ils affinent des LLM sur du matériel distribué :
1. Fragmentation de la mémoire entre les nœuds : la plupart des frameworks ne savent pas répartir efficacement les états du modèle au-delà du simple parallélisme des données.
2. Saturation de la bande passante sur les connexions Internet : la synchronisation des gradients et le transfert des activations consomment une bande passante que les fournisseurs d’accès grand public ne peuvent pas fournir.
3. Les pannes de nœuds font échouer des exécutions entières : sans tolérance aux pannes, des heures de calcul sont perdues dès qu’une machine se déconnecte.
Les frameworks actuels (DeepSpeed, FSDP, etc.) partent du principe qu’ils fonctionnent sur une infrastructure de centre de données. Ils ne sont pas conçus pour des configurations domestiques hétérogènes où un nœud dispose de 24 Go de VRAM, un autre de 12 Go, et où ils sont reliés par une fibre résidentielle avec des pics de latence de 100 ms.
1. Fragmentation de la mémoire entre les nœuds : la plupart des frameworks ne savent pas répartir efficacement les états du modèle au-delà du simple parallélisme des données.
2. Saturation de la bande passante sur les connexions Internet : la synchronisation des gradients et le transfert des activations consomment une bande passante que les fournisseurs d’accès grand public ne peuvent pas fournir.
3. Les pannes de nœuds font échouer des exécutions entières : sans tolérance aux pannes, des heures de calcul sont perdues dès qu’une machine se déconnecte.
Les frameworks actuels (DeepSpeed, FSDP, etc.) partent du principe qu’ils fonctionnent sur une infrastructure de centre de données. Ils ne sont pas conçus pour des configurations domestiques hétérogènes où un nœud dispose de 24 Go de VRAM, un autre de 12 Go, et où ils sont reliés par une fibre résidentielle avec des pics de latence de 100 ms.