Letztes Jahr wollte ich ein kleines Modell zur Klassifizierung von On-Chain-Adressen selbst anpassen. Ich habe mir eine A100 auf einer Cloud-Plattform gemietet. Als die Rechnung für einen Monat kam, war ich direkt platt. Zusammen mit Speicher- und Datengebühren hätte ich mir ein neues Handy kaufen können. Noch schlimmer war, dass die Karte die meiste Zeit ungenutzt war. Ich habe nur abends ein paar Trainingsrunden gefahren, aber tagsüber musste ich trotzdem zahlen. Das fühlte sich an, als hättest du einen Sportwagen gemietet, den du jeden Tag nur eine halbe Stunde fährst, während er den Rest der Zeit in der Garage steht und Parkgebühren kostet.

Später, als ich in den technischen Dokumenten blätterte, sah ich das Kapitel über OpenLoRA und erkannte, wie dumm ich vorher war. Es verwendet eine Multi-Tenant-GPU-Architektur, die es Dutzenden von LoRA-Modellen ermöglicht, dasselbe Hauptmodell zu teilen. Wenn du trainieren musst, lädt das System dynamisch deine Adaptergewichte und gibt sie nach dem Training frei. Man benötigt also nicht mehr die ganze Karte für sich allein. Das ist, als ob du nicht mehr ein ganzes Sportwagen mieten musst, sondern nur nach der gefahrenen Strecke bezahlst. Damit sinken die Kosten erheblich.

Ich habe versucht, ein kleines Modell darauf zu deployen. Vom Hochladen der Daten bis zum Start des Fine-Tunings musste ich mich nicht um Treiber, Umgebung oder CUDA-Version kümmern. All das, was mich früher genervt hat, wurde schön verpackt. Das Training lief in weniger als zwei Stunden, und die Gesamtkosten betrugen weniger als die Miete von einer Stunde zuvor. Ich dachte mir nur, wenn das Ding zwei Jahre früher rausgekommen wäre, hätte ich eine ganz schöne Summe Geld sparen können.

Manche werden vielleicht sagen, das ist doch nur Cloud-Service, was gibt's da groß zu feiern? Bruder, schau dir die AI-Dienste auf traditionellen Cloud-Plattformen an. Die Preise sind immer noch nicht günstig, und viele sind nicht mit LoRA, diesem leichten Fine-Tuning, kompatibel. Selbst wenn du nur ein bisschen Parameter änderst, musst du ein komplettes Exemplar starten. Das OpenLoRA von @OpenLedger ist speziell für LoRA optimiert. Der SGMV-Kern maximiert die Effizienz der Matrixberechnungen. Bei der gleichen Anzahl von Trainingsepochen benötigt es weniger VRAM und benötigt weniger Zeit, also sinken die Rechnungen natürlich.

Ich habe nicht nur Geld gespart, sondern auch einen Vorteil entdeckt. Früher, als ich die GPU exklusiv genutzt habe, wollte ich immer mehrere Experimente gleichzeitig laufen lassen, aus Angst, Rechenleistung zu verschwenden. Das Ergebnis war oft eine Menge Müll-Parameter. Jetzt, wo ich nach Bedarf zahle, hat sich meine Denkweise geändert. Ich mache jedes Mal nur eine kleine Änderung. Wenn das Ergebnis schlecht ist, stoppe ich sofort. So kann ich schneller iterieren, was auch ein unerwarteter Gewinn ist.

Natürlich hat es auch seine Nachteile. Die Anzahl der unterstützten Basis-Modelle ist momentan noch nicht hoch genug. Ich habe ein Projekt, bei dem ich ein bestimmtes Nischenmodell verwenden wollte, aber ich konnte es nicht finden. Ich musste selbst eine Anfrage stellen und auf die offizielle Anpassung warten. Außerdem muss man während der Spitzenzeiten manchmal ein paar Minuten in der Warteschlange stehen, aber angesichts der Preisunterschiede habe ich all das in Kauf genommen.

Ich halte jetzt den Großteil meines Kapitals in Bitcoin und Ethereum, aber für meine täglichen Modell-Experimente bin ich komplett zu OpenLedger gewechselt. Das gesparte Geld verwende ich weiter, um $OPEN zu kaufen, denn Experimente kosten auch Geld. Warum nicht auf der Plattform mit Eigenkapital ausgeben? Denkt daran, Jungs, bei Modellen sollte man nicht geizig sein. Wenn man nach Bedarf zahlen kann, sollte man kein Monatsabonnement abschließen. Diese kleinen Details zusammengezählt, kann der Gewinn in einem Jahr deutlich steigen #OpenLedger .