Brüder, gestern hatte ich Bock und dachte mir, wenn das Whitepaper das ModelFactory so hochlobt und sagt, alles läuft über eine reine GUI, ohne dass man Code schreiben muss, dann probier ich das mal aus. Ich habe mir ein rechtliches Szenario ausgesucht, die öffentlich zugänglichen Zivilgesetztexte und gerichtlichen Erklärungen als Datensatz genommen, mit dem Plan, ein kleines Modell zu fine-tunen. Das Ergebnis? Vom Login bis zum Durchlaufen hat es genau vier Stunden gedauert. Nicht weil es schwer war, sondern weil im Dokument viele Sachen nicht klar beschrieben waren.
Lass mich mal den Brüdern, die nicht so im Game sind, erklären, @OpenLedger dass im Whitepaper, Abschnitt 3.1, das ModelFactory vorgestellt wird. Das soll eine fortschrittliche Fine-Tuning-Plattform sein, die LoRA und QLoRA unterstützt, mit Zugriffskontrolle auf Datensätze, einem Chat-Interface und einem RAG-Attributionsmodul. Klingt alles ziemlich umfassend, aber als ich dann wirklich eingestiegen bin, habe ich drei Fallen entdeckt. Die erste Falle: Die Anforderungen an das Datensatzformat waren nicht klar genug.
Die Daten, die ich vorbereitet habe, sind eine Menge JSON. Jede Zeile sieht so aus: Frage: Auf welchen Fall trifft dieses Gesetz zu? Antwort: Dann lade ich das auf die Plattform hoch und das System gibt einen Fehler aus, dass geschachtelte Strukturen nicht unterstützt werden. Ich hab's dann als CSV geändert, aber es gab ein Kodierungsproblem. Nach fünf Versuchen habe ich schließlich in Discord einen alten Beitrag gefunden, der sagte, es muss im JSONL-Format sein: Jede Zeile ein Objekt, die Feldnamen müssen input und output sein. Diese Info stand nicht im Whitepaper und auch nicht im GitBook, sondern war in einem Chatverlauf von vor drei Monaten versteckt.
Der zweite Fall: Die geschätzte Zeit und Kosten für Feinabstimmungsaufgaben sind ein schwarzes Loch.
Nachdem ich auf den Trainings-Button geklickt habe, kam eine Meldung: Aufgabe eingereicht, bitte warten. Und dann war da nichts mehr. Kein Fortschrittsbalken, keine Schätzung der verbleibenden Zeit, kein Echtzeit-Display, wie viel $OPEN verbraucht wurde. Ich hab vierzig Minuten gewartet, die Seite zeigte immer noch, dass sie läuft. Ich wusste nicht, ob es hängt oder ob das Training normal läuft. Hab nochmal zwanzig Minuten gewartet und schließlich die Benachrichtigung erhalten, dass das Training abgeschlossen ist. Der ganze Prozess hat genau eine Stunde gedauert, aber mein Datensatz hatte nur eintausend Einträge. Das sollte mit LoRA eigentlich schnell gehen.
Ich hab mal die Kosten gecheckt und festgestellt, dass ich ungefähr fünf USDT abgezogen bekommen habe. Das ist nicht viel, aber wenn ich mehrere Experimente mache, um die Hyperparameter anzupassen, sind fünf Dollar pro Test schon ein Batzen. Zehn Tests? Das macht fünfzig Dollar. Und du weißt nie, ob es beim nächsten Mal teurer wird, weil die Wartezeit länger ist. Der dritte Fall: Der Schalter für das RAG-Attributionsmodul ist standardmäßig aus.
Im Whitepaper wurde das RAG-Attributionsmodul als Highlight angepriesen, das es ermöglicht, Quellenangaben für generierte Inhalte bereitzustellen. Aber als ich nach dem Feinabstimmen meines Modells die Chat-Oberfläche getestet habe, stellte ich fest, dass in den Antworten keinerlei Attributionsinformationen enthalten waren. Ich dachte, ich hätte etwas falsch konfiguriert, hab die Einstellungen mehrmals durchgesehen, bis ich schließlich bemerkte, dass das Attributionsmodul manuell aktiviert werden muss. Standardmäßig ist es deaktiviert, und nach dem Aktivieren muss das Modell neu deployt werden. Da muss ich wieder warten. Dieses Design ist für mich nicht nachvollziehbar. Die Attributionsnachweise sind schließlich das Kern-Feature von OpenLedger, und die Nutzer verwenden standardmäßig die Version ohne Attribution.
Ich hab einen anderen, der auch ModelFactory nutzt, in der Gruppe gefragt. Er sagte wörtlich: Ich bin auch in diese Falle getappt, dachte, die Plattform hätte einen Bug. Später fand ich den Schalter. Du solltest beim ersten Betreten der Benutzeroberfläche einen Hinweis anzeigen, anstatt die Leute selbst suchen zu lassen.
#OpenLedger Abgesehen von diesen Erfahrungen ist das Rechtssystem, das ich feinabgestimmt habe, ganz okay. Es kann bei einfachen Anwendungsfragen relativ präzise Antworten geben, aber bei komplexeren Fallanalysen wird es etwas chaotisch. Das könnte daran liegen, dass mein Datensatz zu klein ist oder dass ich die Lernrate nicht richtig eingestellt habe. Die Plattform hat keine empfohlenen Werte für die Hyperparameteroptimierung gegeben, ich muss alles selbst ausprobieren.
Vergleich mal, Bitcoin und Ethereum hatten am Anfang auch mit unvollkommenen Toolchains zu kämpfen. Damals hat das Deployen eines Nodes ewig gedauert, jetzt geht's mit einem Klick. OpenLedger's ModelFactory hat die richtige Richtung, aber an den Details muss noch gefeilt werden. $OPEN
So sehe ich das jetzt: Ich werde ModelFactory für kleine Experimente weiter nutzen, aber ich werde keine produktiven Feinabstimmungsaufgaben hochladen, bis die Plattform Fortschrittsanzeigen, Kostenschätzungen und das standardmäßig aktivierte Attributionsmodul verbessert hat. Dann kann ich ernsthaft damit arbeiten.
Brüder, habt ihr ModelFactory oder andere AI-Chain Feinabstimmungsplattformen ausprobiert? Lasst mal im Kommentarbereich wissen, welche Erfahrung ihr am besten fandet. Ich möchte auch lernen.