Sumber cetak ulang artikel: Heart of the Machine
Model besar GPT-5 OpenAI tampaknya masih jauh dari harapan, namun beberapa peneliti telah memimpin peluncuran model lintas generasi visual dan bahasa yang inovatif, MiniGPT-5. Hal ini memiliki implikasi penting untuk menghasilkan gambar dengan deskripsi tekstual yang koheren.
Sumber gambar: Dihasilkan oleh AI Tanpa Batas
Model-model besar membuat lompatan antara bahasa dan visi, menjanjikan pemahaman yang lancar dan menghasilkan konten teks dan gambar. Dalam serangkaian penelitian terbaru, integrasi fitur multimodal tidak hanya menjadi tren yang berkembang namun telah membawa kemajuan penting mulai dari percakapan multimodal hingga alat pembuatan konten. Model bahasa besar telah menunjukkan kemampuan yang tak tertandingi dalam pemahaman dan pembuatan teks. Namun, menghasilkan gambar dengan narasi tekstual yang koheren secara bersamaan masih merupakan bidang yang perlu dikembangkan.
Baru-baru ini, tim peneliti dari Universitas California, Santa Cruz mengusulkan MiniGPT-5, sebuah teknologi pembangkitan bahasa visual interleaved inovatif yang didasarkan pada konsep "generative voken".
Alamat makalah: https://browse.arxiv.org/pdf/2310.02239v1.pdf
Alamat proyek: https://github.com/eric-ai-lab/MiniGPT-5
Dengan menggabungkan mekanisme Difusi Stabil dengan LLM melalui token visual khusus "generative voken", MiniGPT-5 menandai model baru untuk generasi multimoda yang terampil. Pada saat yang sama, metode pelatihan dua tahap yang diusulkan dalam artikel ini menekankan pentingnya tahap dasar bebas deskripsi, yang memungkinkan model untuk "berkembang" bahkan saat data terbatas. Fase generik pendekatan kami tidak memerlukan anotasi domain spesifik, yang membuat solusi kami berbeda dari pendekatan yang ada. Untuk memastikan bahwa teks dan gambar yang dihasilkan konsisten, strategi kehilangan ganda kami ikut berperan, yang selanjutnya ditingkatkan oleh metode voken generatif dan metode klasifikasi.
Berdasarkan teknik-teknik ini, karya ini menandai suatu pendekatan transformatif. Dengan menggunakan ViT (Vision Transformer) dan Qformer bersama dengan model bahasa yang besar, tim peneliti mengubah masukan multimoda menjadi voken generatif dan memasangkannya secara mulus dengan Stable Diffusion2.1 resolusi tinggi untuk mencapai pembuatan gambar yang sadar konteks. Makalah ini menggabungkan gambar sebagai masukan tambahan dengan metode penyesuaian instruksi dan memelopori penggunaan kerugian pembuatan teks dan gambar, sehingga memperluas sinergi antara teks dan penglihatan.
MiniGPT-5 mencocokkan model seperti batasan CLIP dan secara cerdik menggabungkan model difusi dengan MiniGPT-4, mencapai hasil multimoda yang lebih baik tanpa bergantung pada anotasi khusus domain. Yang terpenting, strategi kami dapat memanfaatkan kemajuan dalam model dasar bahasa visual multimoda dan menyediakan cetak biru baru untuk meningkatkan kemampuan pembuatan multimoda.
Seperti yang ditunjukkan pada gambar di bawah, selain kemampuan pemahaman multimoda dan pembuatan teks asli, MiniGPT5 juga dapat memberikan keluaran multimoda yang wajar dan koheren:
Kontribusi artikel ini tercermin dalam tiga aspek:
Kami mengusulkan untuk menggunakan encoder multimodal, yang merupakan teknik umum baru dan telah terbukti lebih efektif daripada LLM dan voken generatif terbalik, dan menggabungkannya dengan Difusi Stabil untuk menghasilkan keluaran visual dan bahasa yang disisipkan (Model Bahasa Multimodal untuk Generasi Multimodal).
Kami fokus pada pengenalan strategi pelatihan dua tahap yang baru untuk pembuatan multimoda bebas deskripsi. Tahap penyelarasan unimodal memperoleh fitur visual selaras teks berkualitas tinggi dari sejumlah besar pasangan teks-gambar. Tahap pembelajaran multimoda mencakup tugas pelatihan baru, pembuatan konteks perintah, yang memastikan perintah visual dan tekstual terkoordinasi dengan baik dalam pembuatannya. Memasukkan panduan bebas pengklasifikasi selama fase pelatihan lebih meningkatkan kualitas pembangkitan.
Dibandingkan dengan model pembangkitan multimoda lainnya, MiniGPT-5 mencapai kinerja canggih pada dataset CC3M. MiniGPT-5 juga menetapkan tolok ukur baru pada kumpulan data terkenal seperti VIST dan MMDialog.
Selanjutnya, mari kita lihat rincian penelitiannya.
Tinjauan Metode
Untuk memungkinkan model bahasa besar memiliki kemampuan pembuatan multimoda, para peneliti memperkenalkan kerangka kerja terstruktur yang mengintegrasikan model bahasa besar multimoda yang telah dilatih sebelumnya dan model pembuatan teks-ke-gambar. Untuk mengatasi perbedaan antara berbagai bidang model, mereka memperkenalkan simbol visual khusus yang disebut "generative voken" yang dapat dilatih langsung pada gambar mentah. Selain itu, metode pelatihan dua tahap dipromosikan dan dikombinasikan dengan strategi bootstrap bebas pengklasifikasi untuk lebih meningkatkan kualitas pembangkitan.
Tahap masukan multimodal
Kemajuan terkini dalam model multimoda besar seperti MiniGPT-4 telah berfokus pada pemahaman multimoda, yang mampu memproses gambar sebagai masukan berkelanjutan. Untuk memperluas kemampuannya ke pembangkitan multimoda, para peneliti memperkenalkan voken generatif yang dirancang khusus untuk mengeluarkan fitur visual. Selain itu, mereka mengadopsi teknik penyempurnaan parameter yang efisien dalam kerangka Model Bahasa Besar (LLM) untuk pembelajaran keluaran multimodal.
Pembangkitan keluaran multimoda
Untuk menyelaraskan token yang dihasilkan dengan model generatif secara akurat, kami merumuskan modul pemetaan ringkas untuk pencocokan dimensionalitas dan menggabungkan beberapa kerugian yang diawasi, termasuk hilangnya ruang teks dan hilangnya model difusi laten. Hilangnya ruang teks membantu model mempelajari pelokalan token yang benar, sementara hilangnya difusi laten secara langsung menyelaraskan token dengan fitur visual yang sesuai. Karena fitur token generatif dipandu langsung oleh gambar, metode ini tidak memerlukan deskripsi gambar yang komprehensif, sehingga mencapai pembelajaran bebas deskripsi.
Strategi pelatihan
Mengingat pergeseran domain yang tidak dapat diabaikan antara domain teks dan gambar, kami menemukan bahwa pelatihan langsung pada kumpulan data terbatas teks dan gambar yang disisipkan dapat menyebabkan ketidakselarasan dan penurunan kualitas gambar.
Oleh karena itu, mereka mengadopsi dua strategi pelatihan yang berbeda untuk mengatasi masalah ini. Strategi pertama melibatkan penerapan teknik bootstrapping bebas pengklasifikasi untuk meningkatkan efektivitas token yang dihasilkan sepanjang proses difusi; Strategi kedua dilakukan dalam dua tahap: fase pra-pelatihan awal berfokus pada penyelarasan fitur kasar, dan fase penyempurnaan berikutnya didedikasikan untuk pembelajaran fitur kompleks.
Percobaan dan Hasil
Untuk mengevaluasi keberhasilan model, para peneliti memilih beberapa tolok ukur dan melakukan serangkaian evaluasi. Percobaan ini bertujuan untuk menjawab beberapa pertanyaan utama:
Bisakah MiniGPT-5 menghasilkan gambar yang dapat dipercaya dan teks yang masuk akal?
Bagaimana kinerja MiniGPT-5 dibandingkan dengan model SOTA lainnya dalam tugas pembuatan bahasa penglihatan interleaved single-pass dan multi-pass?
Apa dampak desain setiap modul terhadap kinerja keseluruhan?
Untuk mengevaluasi kinerja model pada berbagai tolok ukur di berbagai tahap pelatihan, contoh analisis kuantitatif MiniGPT-5 ditunjukkan pada Gambar 3 di bawah ini:
Evaluasi di sini mencakup visi (metrik terkait gambar) dan bahasa (metrik teks) untuk menunjukkan fleksibilitas dan ketahanan model yang diusulkan.
Evaluasi Langkah Akhir VIST
Rangkaian percobaan pertama melibatkan evaluasi satu langkah, yaitu menghasilkan gambar yang sesuai berdasarkan model perintah pada langkah terakhir. Hasilnya ditunjukkan pada Tabel 1.
Dalam ketiga pengaturan tersebut, MiniGPT-5 mengungguli SD 2 yang telah disetel dengan baik. Khususnya, skor CLIP dari model MiniGPT-5 (LoRA) secara konsisten mengungguli varian lain di berbagai jenis perintah, terutama saat menggabungkan perintah gambar dan teks. Di sisi lain, skor FID menyoroti daya saing model MiniGPT-5 (awalan), yang menunjukkan bahwa mungkin ada pertentangan antara kualitas penempatan gambar (tercermin oleh skor CLIP) dan keberagaman serta realisme gambar (tercermin oleh skor FID). Dibandingkan dengan model yang dilatih langsung pada VIST tanpa tahap registrasi unimodal (MiniGPT-5 tanpa UAS), meskipun model tersebut tetap memiliki kemampuan untuk menghasilkan gambar yang bermakna, namun kualitas dan konsistensi gambar menurun secara signifikan. Pengamatan ini menyoroti pentingnya strategi pelatihan dua tahap.
Evaluasi Multi-Langkah VIST
Dalam evaluasi yang lebih rinci dan komprehensif, para peneliti secara sistematis memberi model tersebut konteks historis sebelumnya dan kemudian mengevaluasi gambar dan narasi yang dihasilkan pada setiap langkah.
Tabel 2 dan 3 merangkum hasil percobaan ini, masing-masing merangkum kinerja pada metrik gambar dan bahasa. Hasil eksperimen menunjukkan bahwa MiniGPT-5 mampu menghasilkan gambar yang koheren dan berkualitas tinggi menggunakan perintah masukan multimodal horizontal panjang dalam semua data tanpa mengorbankan kemampuan pemahaman multimodal pada model asli. Hal ini menyoroti efektivitas MiniGPT-5 dalam berbagai pengaturan.
Evaluasi Manusia VIST
Seperti yang ditunjukkan pada Tabel 4, MiniGPT-5 menghasilkan narasi tekstual yang lebih relevan dalam 57,18% kasus, memberikan kualitas gambar yang lebih baik dalam 52,06% kasus, dan menghasilkan keluaran multimoda yang lebih koheren dalam 57,62% skenario. Dibandingkan dengan garis dasar dua tahap yang menggunakan narasi prompt teks ke gambar tanpa mood subjungtif, data ini dengan jelas menunjukkan kemampuan pembuatan multimoda yang lebih kuat.
MMDialog beberapa putaran evaluasi
Hasilnya ditunjukkan pada Tabel 5. MiniGPT-5 mengungguli model dasar Divter dalam menghasilkan respons teks yang lebih akurat. Walaupun kualitas gambar yang dihasilkan serupa, MiniGPT-5 mengungguli model dasar dalam hal korelasi MM, yang menunjukkan bahwa model ini dapat mempelajari cara yang lebih baik untuk melokalisasi pembuatan gambar secara tepat dan menghasilkan respons multimoda yang sangat konsisten.
Apa efeknya? Mari kita lihat keluaran MiniGPT-5. Gambar 7 di bawah menunjukkan perbandingan antara MiniGPT-5 dan model dasar pada set validasi CC3M.
Gambar 8 di bawah menunjukkan perbandingan antara MiniGPT-5 dan model dasar pada set validasi VIST.
Gambar 9 di bawah menunjukkan perbandingan antara MiniGPT-5 dan model dasar pada set pengujian MMDialog.
Untuk rincian penelitian lebih lanjut, silakan merujuk pada makalah asli.