Open-Source-Entwickler stoßen beim Fine-Tuning von LLMs auf verteilter Hardware auf drei große Hürden:
1. Speicherfragmentierung über mehrere Knoten hinweg – die meisten Frameworks können Modellzustände nicht effizient über eine einfache Datenparallelisierung hinaus aufteilen
2. Überlastung der Bandbreite bei Internetverbindungen – die Synchronisierung von Gradienten und die Übertragung von Aktivierungen verbrauchen mehr Bandbreite, als private Internetanbieter bereitstellen können
3. Knotenausfälle machen ganze Trainingsläufe zunichte – ohne Fehlertoleranz gehen Stunden an Rechenzeit verloren, wenn eine Maschine ausfällt
Aktuelle Frameworks (DeepSpeed, FSDP usw.) setzen Infrastruktur auf Rechenzentrumsniveau voraus. Sie sind nicht für heterogene Heimnetzwerke ausgelegt, in denen ein Knoten über 24 GB VRAM und ein anderer über 12 GB verfügt und beide über einen privaten Glasfaseranschluss mit Latenzspitzen von 100 ms verbunden sind.
1. Speicherfragmentierung über mehrere Knoten hinweg – die meisten Frameworks können Modellzustände nicht effizient über eine einfache Datenparallelisierung hinaus aufteilen
2. Überlastung der Bandbreite bei Internetverbindungen – die Synchronisierung von Gradienten und die Übertragung von Aktivierungen verbrauchen mehr Bandbreite, als private Internetanbieter bereitstellen können
3. Knotenausfälle machen ganze Trainingsläufe zunichte – ohne Fehlertoleranz gehen Stunden an Rechenzeit verloren, wenn eine Maschine ausfällt
Aktuelle Frameworks (DeepSpeed, FSDP usw.) setzen Infrastruktur auf Rechenzentrumsniveau voraus. Sie sind nicht für heterogene Heimnetzwerke ausgelegt, in denen ein Knoten über 24 GB VRAM und ein anderer über 12 GB verfügt und beide über einen privaten Glasfaseranschluss mit Latenzspitzen von 100 ms verbunden sind.