Quelle des Nachdrucks des Artikels: Heart of the Machine

Herausgeber: Eiersauce

Wenn Sie schon einmal mit einem KI-Roboter kommuniziert haben, können Sie sich sicherlich an einige äußerst „frustrierende“ Momente erinnern. Beispielsweise wurden die Kernpunkte, die Sie im Gespräch am Vortag angesprochen haben, von der KI völlig vergessen …

Dies liegt daran, dass sich die meisten aktuellen LLMs nur an einen begrenzten Kontext erinnern können, genau wie Studenten, die sich für Prüfungen büffeln, und nach ein wenig Befragung „ihre Füße zum Vorschein bringen“.

Stellen Sie sich vor, ein KI-Assistent könnte in einem Chat kontextbezogen auf ein Gespräch von vor Wochen oder Monaten verweisen oder Sie könnten den KI-Assistenten bitten, einen Bericht zusammenzufassen, der Tausende von Seiten umfasst. Wäre das nicht beneidenswert?

Um die LLM-Erinnerung immer besser zu machen, arbeiten Forscher ständig hart. Kürzlich haben Forscher vom MIT, Meta AI und CMU eine Methode namens „StreamingLLM“ vorgeschlagen, um Sprachmodellen die reibungslose Verarbeitung von Endlostext zu ermöglichen.

  • Papieradresse: https://arxiv.org/pdf/2309.17453.pdf

  • Projektadresse: https://github.com/mit-han-lab/streaming-llm

Das Arbeitsprinzip von StreamingLLM besteht darin, die anfänglichen Token, die durch die inhärenten „Aufmerksamkeitssenken“ des Modells verankert sind, für seine Argumentation zu identifizieren und zu speichern. In Kombination mit einem fortlaufenden Cache aktueller Token beschleunigt StreamingLLM die Inferenz um das 22-fache, ohne dass die Genauigkeit darunter leidet. In nur wenigen Tagen hat das Projekt 2,5.000 Sterne auf der GitHub-Plattform erhalten:

Insbesondere ermöglicht StreamingLLM dem Sprachmodell, sich den Touchdown-Score des letzten Spiels, den Namen des Neugeborenen, den langen Vertrag oder den Inhalt der Debatte genau zu merken, genau wie das Gedächtnis des KI-Assistenten für eine einwandfreie Handhabung aufgerüstet wurde höhere Arbeitsbelastung.

Schauen wir uns als nächstes die technischen Details an.

Methodeninnovation

Normalerweise ist LLM im vorab trainierten Zustand durch das Aufmerksamkeitsfenster begrenzt. Obwohl bereits viel daran gearbeitet wurde, diese Fenstergröße zu erweitern und die Trainings- und Inferenzeffizienz zu verbessern, ist die akzeptable Sequenzlänge von LLM immer noch begrenzt, was für eine dauerhafte Bereitstellung nicht geeignet ist.

In diesem Artikel stellten die Forscher zunächst das Konzept von LLM-Streaming-Anwendungen vor und stellten die Frage: „Kann LLM mit unendlich langen Eingaben ohne Einbußen bei Effizienz und Leistung eingesetzt werden?“

Bei der Anwendung von LLM auf unendlich lange Eingabeströme gibt es zwei Hauptherausforderungen:

1. Während der Dekodierungsphase speichert das transformatorbasierte LLM den Schlüssel- und Wertstatus (KV) aller vorherigen Token im Cache, wie in Abbildung 1 (a) dargestellt, was zu einer übermäßigen Speichernutzung und einer erhöhten Dekodierungslatenz führen kann;

2. Die Fähigkeit vorhandener Modelle zur Längenextrapolation ist begrenzt. Das heißt, wenn die Sequenzlänge die während des Vortrainings festgelegte Aufmerksamkeitsfenstergröße überschreitet, nimmt die Leistung ab.

Eine intuitive Methode heißt Window Attention (Abbildung 1 b). Diese Methode verwaltet nur ein Schiebefenster mit fester Größe für den KV-Status des neuesten Tokens, kann jedoch sicherstellen, dass die Speichernutzung und die Decodierungsgeschwindigkeit stabil bleiben Sobald die Sequenzlänge die Cache-Größe überschreitet oder auch nur den KV des ersten Tokens entfernt, bricht das Modell zusammen. Eine andere Methode besteht darin, das Schiebefenster neu zu berechnen (siehe Abbildung 1 c). Diese Methode rekonstruiert den KV-Status des neuesten Tokens für jedes generierte Token. Die Leistung ist zwar leistungsstark, erfordert jedoch die Berechnung der sekundären Aufmerksamkeit Das Ergebnis ist deutlich langsamer, was bei echten Streaming-Anwendungen nicht ideal ist.

Beim Verständnis des Scheiterns der Fensteraufmerksamkeit entdeckten die Forscher ein interessantes Phänomen des autoregressiven LLM: Wie in Abbildung 2 dargestellt, wird den anfänglichen Token eine große Anzahl von Aufmerksamkeitswerten zugewiesen, unabhängig davon, ob diese Token mit der Sprachmodellierungsaufgabe zusammenhängen . .

Forscher nennen diese Token „Aufmerksamkeitspools“: Obwohl ihnen die semantische Bedeutung fehlt, belegen sie eine große Anzahl von Aufmerksamkeitspunkten. Die Forscher führen dieses Phänomen auf Softmax zurück (wobei die Summe der Aufmerksamkeitswerte aller Kontext-Tokens 1 sein muss). Selbst wenn die aktuelle Abfrage keine starke Übereinstimmung unter vielen vorherigen Token aufweist, muss das Modell diese unerwünschten Aufmerksamkeiten dennoch übertragen . Werte werden irgendwo zugewiesen, sodass sie in der Summe 1 ergeben. Der Grund, warum das anfängliche Token zu einem „Pool“ wird, ist intuitiv: Aufgrund der Eigenschaften der autoregressiven Sprachmodellierung ist das anfängliche Token für fast alle nachfolgenden Token sichtbar, was es einfacher macht, sie als Aufmerksamkeitspool zu trainieren.

Basierend auf den oben genannten Erkenntnissen schlugen die Forscher StreamingLLM vor, ein einfaches und effizientes Framework, das es einem mit einem begrenzten Aufmerksamkeitsfenster trainierten Aufmerksamkeitsmodell ermöglicht, unendlich langen Text ohne Feinabstimmung zu verarbeiten.

StreamingLLM nutzt die Tatsache aus, dass Aufmerksamkeitspools hohe Aufmerksamkeitswerte haben, und die Beibehaltung dieser Aufmerksamkeitspools kann die Aufmerksamkeitspunktzahlverteilung nahe an eine Normalverteilung bringen. Daher muss StreamingLLM nur den KV-Wert des Aufmerksamkeitspool-Tokens (nur 4 anfängliche Token reichen aus) und den KV-Wert des Schiebefensters beibehalten, um die Aufmerksamkeitsberechnung zu verankern und die Leistung des Modells zu stabilisieren.

Mithilfe von StreamingLLM können Modelle wie Llama-2-[7,13,70] B, MPT-[7,30] B, Falcon-[7,40] B und Pythia [2.9,6.9,12] B zuverlässig 4 simulieren Millionen Token oder sogar mehr.

Im Vergleich zur einzig möglichen Basislösung – der Neuberechnung von Schiebefenstern – ist StreamingLLM 22,2-mal schneller, ohne dass die Leistung darunter leidet.

Auswertung

In der experimentellen Sitzung, wie in Abbildung 3 dargestellt, mit Text, der sich über 20.000 Token erstreckt, ist die Verwirrung von StreamingLLM mit der Oracle-Basislinie (neu berechnetes Schiebefenster) vergleichbar. Wenn gleichzeitig die Eingabelänge das Vortrainingsfenster überschreitet, schlägt die dichte Aufmerksamkeit fehl, und wenn die Eingabelänge die Cache-Größe überschreitet, bleibt die Fensteraufmerksamkeit hängen, was dazu führt, dass das anfängliche Token entfernt wird.

Abbildung 5 bestätigt außerdem, dass StreamingLLM Text ungewöhnlicher Größe, einschließlich mehr als 4 Millionen Token, über eine Vielzahl von Modellfamilien und -größen hinweg zuverlässig verarbeiten kann. Dazu gehören Llama-2-[7,13,70] B, Falcon-[7,40] B, Pythia-[2.8,6.9,12] B und MPT-[7,30] B.

Anschließend bestätigten die Forscher die Hypothese des „Aufmerksamkeitspoolings“ und bewiesen, dass das Sprachmodell vorab trainiert werden kann und während der Streaming-Bereitstellung nur ein Aufmerksamkeitspool-Token erfordert. Konkret schlagen sie vor, zu Beginn aller Trainingsbeispiele ein zusätzliches lernbares Token als ausgewiesenen Aufmerksamkeitspool hinzuzufügen. Indem die Forscher ein Sprachmodell mit 160 Millionen Parametern vorab von Grund auf trainierten, zeigten sie, dass unsere Methode die Leistung des Modells aufrechterhalten kann. Dies steht in scharfem Gegensatz zu aktuellen Sprachmodellen, die die Wiedereinführung mehrerer anfänglicher Token als Aufmerksamkeitspools erfordern, um das gleiche Leistungsniveau zu erreichen.

Abschließend haben wir die Dekodierungslatenz und Speichernutzung von StreamingLLM mit dem Neuberechnungs-Schiebefenster verglichen und auf einer einzelnen NVIDIA A6000-GPU mit den Modellen Llama-2-7B und Llama-2-13B getestet. Wie in Abbildung 10 dargestellt, nimmt die Dekodierungsgeschwindigkeit von StreamingLLM mit zunehmender Cache-Größe linear zu. Die Dekodierverzögerung des Letzteren nimmt quadratisch zu. Experimente haben gezeigt, dass StreamingLLM beeindruckende Geschwindigkeitssteigerungen erzielt, bis zu 22,2-mal schneller pro Token.

Weitere Forschungsdetails finden Sie im Originalpapier.