Quelle des Nachdrucks des Artikels: Der Trend der KI

Original: AIGC Open Community

Das MIT und die Chinesische Universität Hongkong haben gemeinsam LongLoRA veröffentlicht, eine neue Feinabstimmungsmethode, die die kontextbezogenen Fähigkeiten großer Sprachmodelle verbessern kann, ohne große Mengen an Rechenressourcen zu verbrauchen.

Wenn Sie die Kontextverarbeitungsfähigkeiten eines großen Sprachmodells erhöhen möchten, benötigen Sie im Allgemeinen mehr Rechenleistungsunterstützung. Beispielsweise erfordert die Erweiterung der Kontextlänge von 2048 auf 8192 16-mal mehr Rechenleistung.

LongLoRA wurde auf dem Open-Source-Modell LLaMA2 7B/13B/70B getestet und erweiterte die ursprüngliche Kontextlänge auf 32 KB, 64 KB und 100 KB, was sehr wenig Rechenressourcen erfordert.

Open-Source-Adresse: https://github.com/dvlab-research/LongLoRA

Papieradresse: https://arxiv.org/abs/2309.12307

Eine effiziente Feinabstimmungsmethode für LongLoRA

Laut dem Artikel von LongLoRA werden zwei Hauptschritte verwendet, um eine effiziente Feinabstimmung abzuschließen. Erstens wird während des Trainings eine einfachere Form der Aufmerksamkeit (konzentriert auf bestimmte Informationen) verwendet, die die Entwickler als geschaltete kurze Aufmerksamkeit (S2-Attn) bezeichnen.

Diese neue Aufmerksamkeitsmethode hilft dabei, viel Rechenleistung zu sparen, ist fast genauso effektiv wie die normale Aufmerksamkeitsmethode und spielt eine wichtige Rolle im Trainingsprozess.

Zweitens wird eine Methode zur effektiven Erweiterung des Kontexts (der für das Training verwendeten Informationsmenge) wiederentdeckt. Die Entwickler fanden heraus, dass eine Methode namens LoRA hierfür sehr gut funktioniert, insbesondere wenn sie mit trainierbaren Einbettungen und Normalisierung verwendet wird.

LongLoRA hat bei einer Vielzahl von Aufgaben hervorragende Ergebnisse gezeigt und kann mit LLMs unterschiedlicher Größe verwendet werden. Es kann die für das Training verwendete Datenmenge von 4.000 auf 100.000 und für ein anderes Modell auf 32.000 erhöhen, und das alles auf einem leistungsstarken Computer. Darüber hinaus ist es hochgradig kompatibel mit anderen vorhandenen Technologien und verändert die ursprüngliche Modelldesignarchitektur nicht.

Um LongLoRA praktischer und effizienter zu machen, haben die Entwickler außerdem einen Datensatz namens LongQA zusammengestellt, der mehr als 3.000 Frage-Antwort-Paare für das Training enthält. Dadurch kann LongLoRA die Ausgabefähigkeiten großer Sprachmodelle effektiv verbessern.

Forschungsergebnisse

Die Studie bewertet verschiedene Modelle anhand von Proof-Pile- und PG19-Datensätzen. Es wurde festgestellt, dass das Modell mit zunehmender Kontextgröße während des Trainings eine bessere Leistung erbrachte, was die Wirksamkeit seines Feinabstimmungsansatzes zeigt.

Einfach ausgedrückt: Training mit mehr Informationen führt zu besseren Ergebnissen. Wenn beispielsweise die Größe des Kontextfensters von 8192 auf 32768 erhöht wird, verbessert sich die Perplexitätsleistung eines Modells von 2,72 auf 2,50.

Die Studie untersucht auch, wie viel Kontext diese Modelle auf einer einzelnen Maschine verarbeiten können. Die Entwickler erweiterten das Modell, um extrem lange Kontexte zu verarbeiten, und stellten fest, dass das Modell trotz Leistungseinbußen bei kleineren Kontextgrößen immer noch eine gute Leistung erbringt.

Neben der Sprachmodellierung wurden in der Studie auch andere Aufgaben getestet, darunter die Suche nach bestimmten Themen in sehr langen Gesprächen. Das Modell der Entwickler schneidet bei dieser Aufgabe ähnlich und in einigen Fällen sogar besser ab als hochmoderne Modelle. Bemerkenswert ist, dass sich die Modelle der Entwickler besser an Open-Source-Daten anpassen konnten als die Modelle ihrer Konkurrenten.

LongLoRA zeigt, dass ein großes Modell umso besser Sprache verstehen kann, je mehr Informationen es verarbeiten kann. Und LongLoRA ist nicht nur gut im Umgang mit langen Texten, sondern auch sehr gut darin, in langen Gesprächen bestimmte Themen zu finden. Dies zeigt, dass es komplexe und chaotische Aufgaben in der realen Welt bewältigen kann.

Da das Kontextfenster jedoch vergrößert ist, wird es bei LongLoRA zu Problemen bei der Verarbeitung kürzerer Textfragmente kommen. Der Autor hat den Grund für dieses Problem noch nicht gefunden.

Insgesamt schlägt LongLoRA innovative Methoden im Bereich großer Sprachmodelle vor, mit denen diese Modelle auch bei der Verarbeitung großer Informationsmengen einfacher und effizienter verfeinert werden können, ohne dass mehr Rechenressourcen verbraucht werden müssen.

Das Material dieses Artikels stammt aus dem LongLoRA-Papier. Wenn es einen Verstoß gibt, kontaktieren Sie uns bitte, um ihn zu löschen.