Nguồn bài viết in lại: AI DreamWorks
Nguồn gốc: Xinzhiyuan
Nguồn hình ảnh: Được tạo bởi AI không giới hạn
Sau khi ChatGPT ra mắt, công nghệ tạo văn bản đã phát triển nhanh chóng và một số lượng lớn nhiệm vụ NLP đang phải đối mặt với tình thế tiến thoái lưỡng nan không thể khắc phục hoàn toàn, đặc biệt đối với nhiệm vụ “tóm tắt văn bản” thiếu câu trả lời chuẩn.
Nhưng làm thế nào để đưa một “lượng thông tin hợp lý” vào một bản tóm tắt vẫn rất khó: một bản tóm tắt tốt phải chi tiết và tập trung vào thực thể, không quá dày đặc và khó hiểu.
Để hiểu rõ hơn về sự cân bằng giữa khối lượng thông tin và mức độ dễ hiểu, các nhà nghiên cứu từ MIT, Đại học Columbia và các tổ chức khác đã đề xuất một lời nhắc "Chuỗi dày đặc" mới có thể được sử dụng mà không cần thêm văn bản trừu tượng. bản tóm tắt thưa thớt thực thể do GPT-4 tạo ra được tối ưu hóa lặp đi lặp lại và các thực thể quan trọng còn thiếu sẽ dần dần được thêm vào.
Liên kết bài viết: https://arxiv.org/pdf/2309.04269.pdf
Dữ liệu mã nguồn mở: https://huggingface.co/datasets/griffin/chain_of_density
Từ kết quả thí nghiệm, tóm tắt được tạo ra bằng CoD có tính trừu tượng hơn (abstractive) so với tóm tắt GPT-4 được tạo ra bằng gợi ý thông thường, thể hiện nhiều tính hòa trộn (fusion) hơn và ít thiên lệch lead hơn.
Sau khi tiến hành nghiên cứu sở thích của con người đối với 100 bài viết CNN DailyMail, có thể thấy rằng con người cũng có xu hướng chọn các tóm tắt có mật độ thực thể cao hơn, gần với mật độ thực thể của các tóm tắt do con người viết.
Các nhà nghiên cứu đã mã nguồn mở 500 tóm tắt CoD có gán nhãn và 5000 dữ liệu tóm tắt không có gán nhãn.
Cải thiện lặp lại tóm tắt văn bản
Gợi ý (Prompt)
Mục tiêu nhiệm vụ là sử dụng GPT-4 để tạo ra một tập hợp các tóm tắt với "các mức độ mật độ thông tin khác nhau", đồng thời kiểm soát độ dài văn bản.
Các nhà nghiên cứu đã đề xuất gợi ý chuỗi mật độ (CoD, Chain of Density) để tạo ra một tóm tắt ban đầu, và dần dần làm tăng mật độ thực thể.
Cụ thể, trong một số vòng lặp cố định, xác định một nhóm thực thể độc đáo và nổi bật trong văn bản nguồn, và tích hợp vào tóm tắt trước đó mà không làm tăng độ dài văn bản.
Tóm tắt được tạo ra lần đầu tiên có mật độ thực thể thưa thớt, chỉ tập trung vào 1-3 thực thể ban đầu; để duy trì độ dài văn bản tương tự trong khi tăng số lượng thực thể được bao phủ, cần phải rõ ràng khuyến khích trừu tượng (abstraction), hòa trộn (fusion) và nén (compression), thay vì loại bỏ nội dung có ý nghĩa từ các tóm tắt trước đó.
Các nhà nghiên cứu không quy định loại thực thể, mà đơn giản định nghĩa thực thể thiếu (Missing Entity) là:
Liên quan (Relevant): Liên quan đến câu chuyện chính;
Cụ thể (Specific): Mô tả nhưng ngắn gọn (5 chữ hoặc ít hơn);
Mới lạ (Novel): Không xuất hiện trong các tóm tắt trước đó;
Trung thành (Faithful): Xuất hiện trong văn bản gốc;
Bất kỳ đâu (Anywhere): Có thể xuất hiện ở bất kỳ vị trí nào trong bài viết.
Trong việc chọn dữ liệu, các nhà nghiên cứu đã ngẫu nhiên chọn 100 bài viết từ bộ kiểm tra tóm tắt CNN/DailyMail để tạo ra tóm tắt CoD.
Sau đó, số liệu thống kê tóm tắt CoD được so sánh với các mục được viết tay theo kiểu (bullet-point) và tóm tắt do GPT-4 tạo ra dưới các gợi ý thông thường, trong đó từ khóa là "Viết một tóm tắt rất ngắn về bài viết. Không vượt quá 70 từ" (Write a VERY short summary of the Article. Do not exceed 70 words).
Chiều dài token dự kiến được thiết lập để phù hợp với chiều dài token của tóm tắt CoD.
Kết quả thống kê
Chỉ số thống kê trực tiếp
Sử dụng NLTK để tính số lượng token, sử dụng Spacy2 để đo số lượng thực thể độc nhất và tính tỷ lệ mật độ thực thể.
Gợi ý CoD đã hạn chế đáng kể số lượng token dự kiến cho tóm tắt, có thể thấy rằng, bắt đầu từ bước thứ hai, các từ không cần thiết dần dần được loại bỏ từ tóm tắt ban đầu dài dòng, làm cho độ dài văn bản trung bình giảm 5 token (72 xuống 67).
Mật độ thực thể cũng tăng lên, bắt đầu là 0.089, thấp hơn so với kết quả của con người và GPT-4 (tương ứng là 0.151 và 0.122), và sau 5 bước thao tác, độ dày tăng lên 0.167.
Chỉ số thống kê gián tiếp
Sử dụng mật độ trích xuất (extractive density, tức là bình quân bình phương chiều dài của các đoạn trích) để đo lường tính trừu tượng của văn bản, văn bản dự kiến sẽ tăng lên theo tiến trình lặp đi lặp lại của CoD.
Sử dụng "Số lượng câu tóm tắt được căn chỉnh với văn bản nguồn" làm chỉ số hòa trộn (fusion), trong đó thuật toán căn chỉnh sử dụng "tăng ROUGE tương đối", căn chỉnh câu nguồn với câu mục tiêu cho đến khi các câu bổ sung không còn nâng cao được tăng ROUGE tương đối, dự kiến rằng hòa trộn sẽ tăng dần.
Sử dụng "Vị trí nội dung trong văn bản gốc" làm chỉ số phân phối nội dung (Content Distribution), phương pháp đo lường cụ thể là trung bình sắp xếp của tất cả các câu nguồn được căn chỉnh, dự kiến tóm tắt CoD ban đầu sẽ thể hiện rõ sự thiên lệch Lead Bias, sau đó dần dần bắt đầu đưa vào các thực thể từ giữa và cuối bài viết.
Kết quả thống kê cũng xác nhận tính đúng đắn của kết quả dự kiến: tính trừu tượng tăng lên trong quá trình viết lại, tỷ lệ hòa trộn tăng lên, và tóm tắt bắt đầu bao gồm nội dung ở giữa và cuối bài viết.
Hơn nữa, tất cả các tóm tắt CoD đều trừu tượng hơn so với các tóm tắt do viết tay và các mô hình cơ sở tạo ra.
Kết quả thí nghiệm
Để hiểu rõ hơn về sự đánh đổi của tóm tắt CoD, chúng tôi đã thực hiện một nghiên cứu dựa trên sở thích của con người và một đánh giá dựa trên xếp hạng bằng GPT-4.
Đánh giá sở thích của con người
Các nhà nghiên cứu chủ yếu đánh giá tác động của sự làm đặc (densification) đến đánh giá chất lượng tổng thể của con người.
Cụ thể, bằng cách đưa vào 100 bài viết, có thể nhận được "5 bước * 100 = tổng cộng 500 tóm tắt", ngẫu nhiên trình bày kết quả tóm tắt cho bốn người gán nhãn và đánh giá tóm tắt dựa trên độ trung thành của văn bản gốc (Essence), độ rõ ràng (Clarity), độ chính xác (Accuracy), mục đích (Purpose), sự ngắn gọn (Concise) và phong cách (Style).
Từ kết quả bỏ phiếu, bước CoD thứ hai nhận được đánh giá cao nhất, kết hợp với các kết quả thí nghiệm về mật độ trung bình trước đó, có thể suy ra rằng con người có xu hướng chọn các tóm tắt văn bản có mật độ thực thể khoảng 15%, cao hơn đáng kể so với tóm tắt do GPT-4 tạo ra (mật độ thực thể 0.122).
Chỉ số đánh giá tự động
Gần đây, một số công việc đã chứng minh rằng sự đánh giá của GPT-4 có mối tương quan rất cao với kết quả đánh giá của con người, thậm chí có khả năng tốt hơn so với hiệu suất của những người làm việc theo cách crowdsourcing trong một số nhiệm vụ gán nhãn.
Như một bổ sung cho việc đánh giá bằng tay, các nhà nghiên cứu đã đề xuất sử dụng GPT-4 để xếp hạng tóm tắt CoD (1-5) dựa trên 5 khía cạnh: lượng thông tin (Informative), chất lượng (Quality), tính mạch lạc (Coherence), khả năng quy cho (Attributable) và tính toàn diện (Overall).
Mẫu lệnh được sử dụng là:
Bài viết: {{Article}} Tóm tắt: {{Summary}} Vui lòng đánh giá tóm tắt (1=tệ nhất đến 5=tốt nhất) liên quan đến {{Dimension}}. {{Definition}}
Định nghĩa của các chỉ số là:
Lượng thông tin: Một tóm tắt giàu thông tin có thể nắm bắt các thông tin quan trọng trong bài viết và trình bày một cách chính xác và ngắn gọn. (An informative summary captures the important information in the article and presents it accurately and concisely.)
Chất lượng: Tóm tắt chất lượng cao là có thể hiểu được. (A high quality summary is comprehensible and understandable.)
Tính mạch lạc: Một tóm tắt mạch lạc có cấu trúc chặt chẽ và tổ chức có trật tự. (A coherent summary is well-structured and well-organized.)
Khả năng quy cho: Tất cả thông tin trong tóm tắt có hoàn toàn quy cho bài viết không? (Is all the information in the
Tóm tắt có hoàn toàn có thể quy cho bài viết không? (summary fully attributable to the Article?)
Sở thích tổng thể: Một tóm tắt tốt nên truyền đạt các ý chính trong bài viết một cách ngắn gọn, logic và mạch lạc. (A good summary should convey the main ideas in the Article in a concise, logical, and coherent fashion.)
Kết quả thí nghiệm cho thấy sự làm đặc có liên quan đến lượng thông tin, nhưng điểm số đạt đỉnh ở bước 4 (4.74); sự giảm chất lượng và tính mạch lạc diễn ra nhanh hơn; tất cả các tóm tắt đều được coi là có thể quy cho bài viết gốc; điểm số tổng thể có xu hướng nghiêng về các tóm tắt còn dày đặc và chi tiết hơn, với điểm cao nhất tại bước 4. Trung bình, bước CoD đầu tiên và cuối cùng không được ưa chuộng nhất, trong khi ba bước giữa rất gần (tương ứng là 4.78, 4.77 và 4.76).
Phân tích định tính
Cần phải cân nhắc giữa tính mạch lạc/đọc được của tóm tắt và lượng thông tin trong quá trình lặp lại.
Ví dụ trên đã trình bày hai bước CoD, mỗi bước chứa nội dung chi tiết hơn và nội dung tổng quát hơn.
Trung bình, tóm tắt CoD ở các bước trung gian có thể đạt được sự cân bằng tốt hơn, nhưng cách định nghĩa và định lượng sự cân bằng này một cách chính xác hiện vẫn chưa có công việc nào.
Tài liệu tham khảo:
https://the-decoder.com/chain-of-density-prompt-improves-ai-summaries-by-packing-more-info-into-fewer-words/
