Quelle des Nachdrucks des Artikels: AI DreamWorks
Originalquelle: Xinzhiyuan
Bildquelle: Erstellt von Unbounded AI
Nach der Veröffentlichung von ChatGPT hat sich die Technologie zur Textgenerierung rasant weiterentwickelt, und viele NLP-Aufgaben stehen vor dem Dilemma, vollständig überwunden zu werden, insbesondere bei der Aufgabe „Textzusammenfassung“, für die es keine Standardantworten gibt.
Es ist jedoch immer noch sehr schwierig, eine „angemessene Menge an Informationen“ in eine Zusammenfassung aufzunehmen: Eine gute Zusammenfassung sollte detailliert und entitätszentriert sein, nicht entitätsdicht und schwer zu verstehen.
Um den Kompromiss zwischen Informationsvolumen und Verständlichkeit besser zu verstehen, haben Forscher des MIT, der Columbia University und anderer Institutionen eine neue „Chain of Dense“-Eingabeaufforderung vorgeschlagen, die unter der Voraussetzung der Länge verwendet werden kann Die von GPT-4 generierte Entity-Sparse-Zusammenfassung wird iterativ optimiert und fehlende wichtige Entitäten werden nach und nach hinzugefügt.
Link zum Papier: https://arxiv.org/pdf/2309.04269.pdf
Open-Source-Daten: https://huggingface.co/datasets/griffin/chain_of_density
Den experimentellen Ergebnissen nach zu urteilen, ist die von CoD generierte Zusammenfassung abstrakter als die von gewöhnlichen Eingabeaufforderungen generierte GPT-4-Zusammenfassung und zeigt mehr Fusion und weniger Lead-Bias.
Nach der Durchführung einer menschlichen Präferenzstudie zu 100 CNN DailyMail-Artikeln konnte festgestellt werden, dass Menschen auch eher dazu neigen, zusammenfassende Ergebnisse mit dichteren Entitäten zu wählen, was der Entitätsdichte von von Menschen geschriebenen Zusammenfassungen ähnelt.
Die Forscher haben 500 kommentierte CoD-Abstracts und 5.000 unkommentierte Abstract-Daten als Open-Source-Quelle bereitgestellt.
Verbessern Sie die Textzusammenfassung iterativ
Prompt
Das Ziel der Aufgabe besteht darin, mithilfe von GPT-4 eine Reihe von Zusammenfassungen mit „unterschiedlichen Ebenen der Informationsdichte“ zu erstellen und gleichzeitig die Länge des Textes zu steuern.
Forscher schlagen Chain of Density (CoD, Chain of Density)-Hinweise vor, um eine erste Zusammenfassung zu erstellen und Entitäten nach und nach immer dichter zu machen.
Insbesondere wird im Rahmen einer festen Anzahl von Iterationsrunden eine Reihe einzigartiger und hervorstechender Entitäten im Quelltext identifiziert und in die vorherige Zusammenfassung eingefügt, ohne die Textlänge zu erhöhen.
Die erste generierte Zusammenfassung ist entitätssparsam und konzentriert sich nur auf 1–3 anfängliche Entitäten. Um die gleiche Textlänge beizubehalten und gleichzeitig die Anzahl der abgedeckten Entitäten zu erhöhen, müssen Abstraktion, Fusion und Komprimierung explizit gefördert werden, anstatt sinnvolle Elemente zu entfernen Inhalt aus der vorherigen Zusammenfassung.
Die Forscher gaben den Typ der Entität nicht an, sondern definierten „Fehlende Entität“ lediglich als:
Relevant: bezogen auf die Hauptgeschichte;
Spezifisch: Beschreibend, aber prägnant (maximal fünf Wörter);
Roman: kommt in früheren Abstracts nicht vor;
Treu: im Originaltext vorhanden;
Überall: Kann überall im Artikel erscheinen.
Was die Datenauswahl betrifft, wählten die Forscher zufällig 100 Artikel aus dem CNN/DailyMail-Zusammenfassungstestsatz aus, um CoD-Zusammenfassungen zu erstellen.
Die CoD-Zusammenfassungsstatistiken wurden dann mit von Menschen geschriebenen Referenzzusammenfassungen im Aufzählungspunktstil und mit Zusammenfassungen verglichen, die von GPT-4 unter der regulären Eingabeaufforderung generiert wurden, wobei die Eingabeaufforderung lautete: „Schreiben Sie eine sehr kurze Zusammenfassung des Artikels, nicht länger als 70 Wörter“ ( Schreiben Sie eine SEHR kurze Zusammenfassung des Artikels (nicht länger als 70 Wörter).
Die erwartete Tokenlänge wird so eingestellt, dass sie mit der Tokenlänge des CoD-Digests übereinstimmt.
Statistische Ergebnisse
Direkte statistische Indikatoren
Verwenden Sie NLTK, um die Anzahl der Token zu zählen, verwenden Sie Spacy2, um die Anzahl eindeutiger Entitäten zu messen, und berechnen Sie das Verhältnis der Entitätsdichte.
Der CoD-Hinweis schränkt die erwartete Anzahl an Token für die Erstellung der Zusammenfassung erheblich ein. Es ist ersichtlich, dass ab dem zweiten Schritt unnötige Wörter nach und nach aus der langen anfänglichen Zusammenfassung entfernt werden, was zu einer durchschnittlichen Reduzierung der Textlänge um 5 Token führt. 72 bis 67).
Die Entitätsdichte steigt ebenfalls an, zunächst bei 0,089, was niedriger ist als die menschlichen und GPT-4-Ergebnisse (0,151 bzw. 0,122), und nach 5 Schritten steigt die Dichte auf 0,167.
indirekte statistische Indikatoren
Unter Verwendung der Extraktivdichte (dem Quadrat der durchschnittlichen Länge der extrahierten Fragmente) zur Messung der Abstraktheit von Text wird erwartet, dass der Text mit fortschreitenden CoD-Iterationen zunimmt.
Verwenden Sie „die Anzahl der am Quelltext ausgerichteten zusammenfassenden Sätze“ als Konzeptfusionsindex, bei dem der Ausrichtungsalgorithmus die „relative ROUGE-Verstärkung“ verwendet, um den Quellsatz am Zielsatz auszurichten, bis zusätzliche hinzugefügte Sätze den relativen ROUGE nicht mehr erhöhen Es wird erwartet, dass die Fusion allmählich zunehmen wird.
Unter Verwendung der „Position des zusammenfassenden Inhalts im Quelltext“ als Indikator für die Inhaltsverteilung (Content Distribution) ist die spezifische Messmethode die durchschnittliche Rangfolge aller ausgerichteten Quellsätze. Es wird erwartet, dass die CoD-Zusammenfassung zunächst einen offensichtlichen Lead-Bias aufweist , und beginnen Sie dann nach und nach ab der Mitte des Artikels, und im abschließenden Teil werden Entitäten vorgestellt.
Die statistischen Ergebnisse bestätigten auch die Richtigkeit der erwarteten Ergebnisse: Die Abstraktion nahm mit dem Umschreibungsprozess allmählich zu, die Fusionsrate nahm zu und die Zusammenfassung wurde in die Mitte und am Ende des Artikels eingefügt.
Und alle CoD-Zusammenfassungen sind abstrakter als handgeschriebene und anhand eines Basismodells generierte Zusammenfassungen.
Experimentelle Ergebnisse
Um die Kompromisse der CoD-Zusammenfassung besser zu verstehen, haben wir eine präferenzbasierte Humanstudie und eine bewertungsbasierte Bewertung mit GPT-4 durchgeführt.
Beurteilung menschlicher Präferenzen
Die Forscher konzentrierten sich auf die Bewertung der Auswirkungen der Verdichtung auf die Gesamtbewertung der menschlichen Masse.
Konkret können Sie durch die Eingabe von 100 Artikeln „insgesamt 5 Schritte * 100 = 500 Zusammenfassungen“ erhalten. Die Zusammenfassungsergebnisse werden zufällig vier Kommentatoren angezeigt und basieren auf der Wiedergabetreue (Essenz), der Klarheit (Klarheit) und der Genauigkeit des Originaltexts . Abstracts werden nach Genauigkeit, Zweck, Prägnanz und Stil bewertet.
Den Abstimmungsergebnissen zufolge erhielt der zweite CoD-Schritt die höchste Bewertung. In Kombination mit den vorherigen experimentellen Ergebnissen der durchschnittlichen Dichte kann grob gefolgert werden, dass Menschen eher Textzusammenfassungen mit einer Entitätsdichte von etwa 15 % wählen deutlich höher als die mit GPT-4 generierte Zusammenfassung (Entitätsdichte 0,122).
Automatische Bewertungsmetriken
Einige neuere Arbeiten haben gezeigt, dass die Bewertung von GPT-4 eine sehr hohe Korrelation mit menschlichen Bewertungsergebnissen aufweist und bei einigen Anmerkungsaufgaben möglicherweise sogar bessere Ergebnisse erzielt als Crowdsourcing-Mitarbeiter.
Als Ergänzung zur manuellen Bewertung schlugen die Forscher die Verwendung von GPT-4 vor, um CoD-Zusammenfassungen (1-5) nach fünf Aspekten zu bewerten: informativ (informativ), Qualität (Quality), Kohärenz (Coherence) und Attribution (Attributable) und insgesamt.
Die verwendete Befehlsvorlage ist:
Artikel: {{Article}} Zusammenfassung: {{Summary}} Bitte bewerten Sie die Zusammenfassung (1=schlechteste bis 5=beste) hinsichtlich {{Dimension}}. {{Definition}}
Die Definitionen jedes Indikators sind:
Informativ: Eine informative Zusammenfassung erfasst die wichtigen Informationen im Artikel und präsentiert sie präzise und prägnant. (Eine informative Zusammenfassung erfasst die wichtigen Informationen im Artikel und präsentiert sie präzise und prägnant.)
Qualität: Hochwertige Zusammenfassungen sind verständlich. (Eine qualitativ hochwertige Zusammenfassung ist verständlich und verständlich.)
Kohärenz: Eine zusammenhängende Zusammenfassung ist gut strukturiert und gut organisiert. (Eine zusammenhängende Zusammenfassung ist gut strukturiert und gut organisiert.)
Namensnennung: Werden alle Informationen im Abstract vollständig dem Artikel zugeordnet? (Sind alle Informationen in der
Zusammenfassung vollständig dem Artikel zuzuordnen?)
Allgemeine Präferenz: Eine gute Zusammenfassung sollte die Hauptpunkte des Artikels prägnant, logisch und kohärent vermitteln. (Eine gute Zusammenfassung sollte die Hauptgedanken des Artikels prägnant, logisch und kohärent vermitteln.)
Experimentelle Ergebnisse zeigen, dass die Verdichtung mit dem Informationsgehalt zusammenhängt, aber die Bewertung erreicht ihren Höhepunkt bei Stufe 4 (4,74); alle Zusammenfassungen werden tendenziell eher dem Quellartikel zugeschrieben; für dichtere und informativere Zusammenfassungen , Schritt 4 schneidet am besten ab. Im Durchschnitt werden die erste und die letzte CoD-Stufe am wenigsten bevorzugt, während die mittleren drei Stufen nahe beieinander liegen (4,78, 4,77 bzw. 4,76).
Qualitative Analyse
Während des iterativen Prozesses gibt es einen Kompromiss zwischen Kohärenz/Lesbarkeit und Aussagekraft der Zusammenfassung.
Das obige Beispiel zeigt zwei CoD-Schritte, einen mit detaillierteren Inhalten und einen mit gröberen Inhalten.
Im Durchschnitt erzielen CoD-Zusammenfassungen von Zwischenschritten eine bessere Ausgewogenheit, aber wie diese Ausgewogenheit genau definiert und quantifiziert werden kann, ist noch nicht geklärt.
Referenzen:
https://the-decoder.com/chain-of-density-prompt-improves-ai-summaries-by-packing-more-info-into-fewer-words/
