Çin Bilim ve Teknoloji Üniversitesi ve Tencent'in YouTu Lab'ından bilim insanları, yapay zeka (AI) modellerinde "halüsinasyon" ile mücadele etmek için bir araç geliştirdi.

Halüsinasyon, AI modelinin eğitim verilerinde bulunan bilgilere dayanmamış gibi görünen yüksek güven düzeyinde çıktılar üretme eğilimidir. Bu sorun, büyük dil modeli (LLM) araştırmalarında yaygındır. OpenAI'nin ChatGPT ve Anthropic'in Claude gibi modellerinde etkileri görülebilir.

USTC/Tencent ekibi, çok modlu büyük dil modellerinde (MLLM) halüsinasyonları düzeltebileceğini iddia ettikleri "Woodpecker" adlı bir araç geliştirdi.

AI'nin bu alt kümesi, GPT-4 (özellikle görsel varyantı GPT-4V) ve metin tabanlı dil modellemesinin yanı sıra görme ve/veya diğer işleme işlemlerini içeren sistemler gibi modelleri içerir.

Ekip, halüsinasyon düzeltme işlemini gerçekleştirmek için, halüsinasyonlar için düzeltilen MLLM'den ayrı olarak, üç ayrı AI modeli kullandığını belirtiyor.

Bunlar arasında GPT-3.5 turbo, Grounding DINO ve BLIP-2-FlanT5 bulunmaktadır. Bu modeller birlikte, halüsinasyonları tespit etmek ve düzeltilen modelin verilerine uygun olarak çıktısını yeniden üretmesi için talimatlar vermek üzere değerlendiriciler olarak çalışır.

Halüsinasyonları düzeltmek için, "Woodpecker"i çalıştıran AI modelleri "anahtar kavram çıkarımı, soru formülasyonu, görsel bilgi doğrulama, görsel iddia üretimi ve halüsinasyon düzeltme"yi içeren beş aşamalı bir süreç kullanır.

Araştırmacılar, bu tekniklerin ek şeffaflık sağladığını ve "temel MiniGPT-4/mPLUG-Owl üzerinde %30.66/%24.33 doğruluk artışı" sunduğunu iddia ediyor. Yöntemlerini kullanarak birçok "raflardan" MLLM'yi değerlendirdiler ve Woodpecker'in "diğer MLLM'lere kolayca entegre edilebileceği" sonucuna vardılar.

Woodpecker'in değerlendirme sürümü, meraklıların aracı eylemde inceleyebileceği Gradio Live'da mevcuttur. Yorumlar bölümünde düşüncelerinizi paylaşarak tartışmaya katılın.