Di dunia AI generatif yang berkembang pesat, tantangan untuk membuat objek 3D dari gambar 2D secara konsisten terus berlanjut. Namun, peneliti dari berbagai universitas telah mengumumkan kemajuan signifikan: SyncDreamer. Alat AI generatif yang inovatif ini menggunakan model difusi unik untuk menghasilkan berbagai perspektif 2D suatu objek hanya dari satu gambar.

Bagaimana SyncDreamer Generative AI mengubah Desain 3D

Sistem AI generatif, terutama model difusi seperti Stable Diffusion, DALL-E, dan Midjourney, terutama dikembangkan untuk memprediksi kemunculan suatu gambar saat noise ditambahkan ke dalamnya. Prosesnya, yang melibatkan transisi gambar dari keadaan jernih ke keadaan derau sempurna dan kemudian membalikkan proses tersebut, memungkinkan model ini menghasilkan gambar yang rumit dari pola derau acak. Selain itu, model AI generatif teks-ke-gambar telah memperluas hal ini, belajar dari miliaran pasangan deskripsi gambar untuk membuat gambar berdasarkan isyarat tekstual.

Namun, kendala konsistensi multiview telah menghambat kemajuan ini. Meskipun hebat, model difusi merasa sulit untuk mengambil gambar 2D dan menggambarkan objek yang sama dari perspektif baru.

Upaya sebelumnya untuk menjembatani kesenjangan ini bergantung pada pembuatan model difusi untuk objek 3D – tugas yang menuntut sejumlah besar objek 3D berlabel. Strategi lain menggabungkan medan radiasi saraf (NeRF) yang dapat menghasilkan bentuk 3D dari foto 2D. Namun, teknik ini memerlukan deskripsi tekstual tambahan dan pembuatan objek – proses yang tidak hanya membutuhkan komputasi intensif tetapi juga membutuhkan masukan manusia yang signifikan.

Hadirlah SyncDreamer. Daripada langsung membuat gambar 3D, SyncDreamer mengambil gambar 2D dan menghasilkan sudut 2D alternatif dari subjek yang sama. Hasil ini kemudian dapat digunakan oleh model seperti NeRF untuk membentuk representasi 3D.

Inti dari fungsi SyncDreamer adalah desainnya untuk memodelkan distribusi probabilitas bersama dari gambar multitampilan. Dengan menggunakan beberapa prediktor noise, SyncDreamer dapat menghasilkan beberapa gambar secara bersamaan. Pendekatan terkoordinasi ini memastikan konsistensi di semua gambar yang dihasilkan.

Aplikasi dan kepraktisan

Dari representasi fotorealistik hingga sketsa tangan, SyncDreamer telah menunjukkan kemampuan adaptasinya dalam tugas-tugas seperti rekonstruksi pemandangan atau tahap desain awal. Para peneliti telah menekankan kemampuan sistem untuk menghasilkan gambar yang selaras secara semantik dengan gambar asli dan mempertahankan konsistensi multitampilan baik dalam warna maupun bentuk.

Keunggulan penting dari model AI generatif ini terletak pada kolaborasinya dengan model generatif lainnya. Dengan memasangkannya dengan model teks-ke-gambar seperti Stable Diffusion atau DALL-E, desainer dapat dengan cepat menghasilkan dan menyempurnakan konsep. Proses yang kohesif ini, yang mengurangi beban kerja seniman 3D, menawarkan manfaat substansial untuk pengembangan game dan pembuatan lingkungan virtual.

Di balik arsitektur SyncDreamer

Melihat arsitektur SyncDreamer, terungkap model difusi multifasetnya, yang menyelaraskan pembuatan setiap tampilan. Proses ini dibangun berdasarkan pengurangan derau pada input menggunakan model UNet. Untuk memastikan konsistensi multitampilan, modul khusus menyusun fitur gambar dan memetakannya dalam 3D. Jaringan saraf konvolusional (CNN) tiga dimensi kemudian menangkap fitur spasial ini dan memproyeksikannya ke dalam ruang dua dimensi. Desain rumit ini, yang disebut oleh para peneliti sebagai "UNet yang memperhatikan fitur 3D", memainkan peran penting dalam menjaga akurasi dan konsistensi model.

Sistem ini disempurnakan pada kumpulan data Objaverse, yang terdiri dari sekitar 800.000 objek dan pemandangan 3D yang diberi label. Beragam gaya seni, mulai dari sketsa hingga lukisan tinta, yang telah diuji SyncDreamer hanya menggarisbawahi potensi AI generatif yang luas di tahun-tahun mendatang.