中国科学技術大学とテンセントのYouTu Labの科学者らは、人工知能（AI）モデルにおける「幻覚」に対抗するツールを開発した。

幻覚とは、トレーニング データに含まれる情報に基づいていないように見える信頼性の高い出力を AI モデルが生成する傾向です。この問題は、大規模言語モデル (LLM) 研究でよく見られます。その影響は、OpenAI の ChatGPT や Anthropic の Claude などのモデルに見られます。

USTC/Tencent チームは、マルチモーダル大規模言語モデル (MLLM) の幻覚を修正できると主張する「Woodpecker」と呼ばれるツールを開発しました。

AI のこのサブセットには、GPT-4 (特にそのビジュアル バリアント GPT-4V) などのモデルや、テキストベースの言語モデリング、視覚および/またはその他の処理操作を含むシステムが含まれます。

研究チームは、幻覚を補正するMLLMとは別に、幻覚補正を実行するために3つの別々のAIモデルを使用したと指摘している。

これらには、GPT-3.5 ターボ、Grounding DINO、BLIP-2-FlanT5 が含まれます。これらのモデルは連携して、幻覚を検出するための評価器として機能し、修正されたモデルにそのデータに従って出力を再現するための指示を提供します。

幻覚を修正するために、「Woodpecker」を実行する AI モデルは、「重要な概念の抽出、質問の定式化、視覚情報の検証、視覚的主張の生成、幻覚の修正」を含む 5 段階のプロセスを使用します。

研究者らは、これらの技術により透明性が向上し、「ベースライン MiniGPT-4/mPLUG-Owl と比較して 30.66%/24.33% の精度向上」が得られると主張しています。彼らは、自分たちの方法を使用して多くの「既製」MLLM を評価し、Woodpecker は「他の MLLM に簡単に統合できる」と結論付けました。

Woodpecker の評価版は Gradio Live で入手でき、愛好家は実際の車両をチェックできます。 コメントセクションであなたの考えを共有してディスカッションに参加してください。