#opg $OPG Etwas über die Verteilung großer Modelle skaliert nicht so, wie Menschen es erwarten.
Früher dachte ich, der schwierige Teil sei das Speichern des Modells. Dann sah ich, wie ein erneuter Versuch die gleichen Gigabytes erneut über das Netzwerk schob, und mir wurde klar, dass sich die Kosten verlagert hatten.
Eine Blob-ID senkt die Abstimmungskosten, nicht die Entfernung. Das Modell muss immer noch reisen, verifiziert werden und um lokalen Speicherplatz konkurrieren. Populäre Modelle werden langsam zu Infrastruktur. Seltene Modelle bleiben potenzielle Bandbreiten-Ereignisse.
Das fühlt sich zunehmend weniger nach Speicherung an und mehr nach Cache-Koordination unter Unsicherheit an.
In großem Maßstab stellt sich vielleicht nicht die Frage, ob das Modell existiert, sondern ob genug Knoten entscheiden, dass es sich lohnt, es zu behalten, bevor gleichzeitige Anforderungen für Cold Starts eintreffen. Ich bin nicht sicher, dass das dasselbe System ist
@OpenGradient
#OPG #OpenGradient #AIInfrastructure $OPG
Früher dachte ich, der schwierige Teil sei das Speichern des Modells. Dann sah ich, wie ein erneuter Versuch die gleichen Gigabytes erneut über das Netzwerk schob, und mir wurde klar, dass sich die Kosten verlagert hatten.
Eine Blob-ID senkt die Abstimmungskosten, nicht die Entfernung. Das Modell muss immer noch reisen, verifiziert werden und um lokalen Speicherplatz konkurrieren. Populäre Modelle werden langsam zu Infrastruktur. Seltene Modelle bleiben potenzielle Bandbreiten-Ereignisse.
Das fühlt sich zunehmend weniger nach Speicherung an und mehr nach Cache-Koordination unter Unsicherheit an.
In großem Maßstab stellt sich vielleicht nicht die Frage, ob das Modell existiert, sondern ob genug Knoten entscheiden, dass es sich lohnt, es zu behalten, bevor gleichzeitige Anforderungen für Cold Starts eintreffen. Ich bin nicht sicher, dass das dasselbe System ist
@OpenGradient
#OPG #OpenGradient #AIInfrastructure $OPG