Các nhà khoa học từ Đại học Khoa học và Công nghệ Trung Quốc và YouTu Lab của Tencent đã phát triển một công cụ chống "ảo giác" trong các mô hình trí tuệ nhân tạo (AI).
Ảo giác là xu hướng mô hình AI tạo ra kết quả đầu ra có độ tin cậy cao dường như không dựa trên thông tin tìm thấy trong dữ liệu đào tạo. Vấn đề này thường gặp trong nghiên cứu mô hình ngôn ngữ lớn (LLM). Ảnh hưởng của họ có thể được nhìn thấy trong các mô hình như ChatGPT của OpenAI và Claude của Anthropic.
Nhóm USTC/Tencent đã phát triển một công cụ có tên là “Woodpecker” mà họ tuyên bố có thể khắc phục ảo giác trong các mô hình ngôn ngữ lớn đa phương thức (MLLM).
Tập hợp con AI này bao gồm các mô hình như GPT-4 (cụ thể là biến thể trực quan GPT-4V) và các hệ thống bao gồm mô hình hóa ngôn ngữ dựa trên văn bản, cũng như thị giác và/hoặc các hoạt động xử lý khác.
Nhóm nghiên cứu lưu ý rằng họ đã sử dụng ba mô hình AI riêng biệt để thực hiện hiệu chỉnh ảo giác, tách biệt với MLLM chuyên sửa ảo giác.
Chúng bao gồm GPT-3.5 turbo, DINO nối đất và BLIP-2-FlanT5. Cùng với nhau, các mô hình này hoạt động như bộ đánh giá để phát hiện ảo giác và cung cấp hướng dẫn để mô hình đã chỉnh sửa tái tạo đầu ra theo dữ liệu của nó.
Để khắc phục ảo giác, các mô hình AI chạy “Woodpecker” sử dụng quy trình gồm 5 bước bao gồm “trích xuất khái niệm chính, xây dựng câu hỏi, xác minh thông tin trực quan, tạo xác nhận bằng hình ảnh và chỉnh sửa ảo giác”.
Các nhà nghiên cứu tuyên bố rằng những kỹ thuật này cung cấp thêm tính minh bạch và mang lại “độ chính xác tăng 30,66%/24,33% so với MiniGPT-4/mPLUG-Owl cơ bản”. Họ đã đánh giá nhiều MLLM “có sẵn” bằng phương pháp của họ và kết luận rằng Woodpecker “có thể dễ dàng tích hợp vào các MLLM khác”.
Phiên bản đánh giá của Woodpecker hiện có trên Gradio Live, nơi những người đam mê xe có thể kiểm tra hoạt động của chiếc xe. Tham gia thảo luận bằng cách chia sẻ suy nghĩ của bạn trong phần bình luận.
Ảo giác là xu hướng mô hình AI tạo ra kết quả đầu ra có độ tin cậy cao dường như không dựa trên thông tin tìm thấy trong dữ liệu đào tạo. Vấn đề này thường gặp trong nghiên cứu mô hình ngôn ngữ lớn (LLM). Ảnh hưởng của họ có thể được nhìn thấy trong các mô hình như ChatGPT của OpenAI và Claude của Anthropic.
Nhóm USTC/Tencent đã phát triển một công cụ có tên là “Woodpecker” mà họ tuyên bố có thể khắc phục ảo giác trong các mô hình ngôn ngữ lớn đa phương thức (MLLM).
Tập hợp con AI này bao gồm các mô hình như GPT-4 (cụ thể là biến thể trực quan GPT-4V) và các hệ thống bao gồm mô hình hóa ngôn ngữ dựa trên văn bản, cũng như thị giác và/hoặc các hoạt động xử lý khác.
Nhóm nghiên cứu lưu ý rằng họ đã sử dụng ba mô hình AI riêng biệt để thực hiện hiệu chỉnh ảo giác, tách biệt với MLLM chuyên sửa ảo giác.
Chúng bao gồm GPT-3.5 turbo, DINO nối đất và BLIP-2-FlanT5. Cùng với nhau, các mô hình này hoạt động như bộ đánh giá để phát hiện ảo giác và cung cấp hướng dẫn để mô hình đã chỉnh sửa tái tạo đầu ra theo dữ liệu của nó.
Để khắc phục ảo giác, các mô hình AI chạy “Woodpecker” sử dụng quy trình gồm 5 bước bao gồm “trích xuất khái niệm chính, xây dựng câu hỏi, xác minh thông tin trực quan, tạo xác nhận bằng hình ảnh và chỉnh sửa ảo giác”.
Các nhà nghiên cứu tuyên bố rằng những kỹ thuật này cung cấp thêm tính minh bạch và mang lại “độ chính xác tăng 30,66%/24,33% so với MiniGPT-4/mPLUG-Owl cơ bản”. Họ đã đánh giá nhiều MLLM “có sẵn” bằng phương pháp của họ và kết luận rằng Woodpecker “có thể dễ dàng tích hợp vào các MLLM khác”.
Phiên bản đánh giá của Woodpecker hiện có trên Gradio Live, nơi những người đam mê xe có thể kiểm tra hoạt động của chiếc xe. Tham gia thảo luận bằng cách chia sẻ suy nghĩ của bạn trong phần bình luận.