Джерело передруку статті: AIcore

Перше джерело: Xinzhiyuan

Джерело зображення: створено Unbounded AI

Чудово!

Тепер ви можете створювати красиві високоякісні 3D-моделі лише за допомогою кількох слів?

Ні, зарубіжний блог підкорив Інтернет і представив нам щось під назвою MVDream.

Користувачі можуть створити реалістичну 3D-модель лише за допомогою кількох слів.

І що відрізняється від раніше, так це те, що MVDream, здається, справді «розуміє» фізику.

Давайте подивимося, наскільки чудовий цей MVDream~

MVDream

Молодший брат сказав, що в епоху великих моделей ми бачили занадто багато моделей генерації тексту та моделей генерації зображень. І продуктивність цих моделей стає все більш потужною.

Пізніше ми навіть стали свідками народження відеомоделей Вінсента, і, звичайно ж, 3D-моделей, про які ми сьогодні поговоримо.

Тільки уявіть, як було б круто, якби вам потрібно було лише ввести речення, щоб створити модель об'єкта, яка виглядає так, ніби він існує в реальному світі, і навіть містить усі необхідні деталі.

І це точно нелегке завдання, особливо коли деталі, необхідні користувачам для створення моделей, мають бути достатньо реалістичними.

Давайте спочатку розглянемо ефект~

Той самий запит, готовий продукт MVDream знаходиться праворуч.

Різниця між п'ятьма моделями помітна неозброєним оком. Попередні моделі повністю суперечать об'єктивним фактам і є правильними лише за умови розгляду з певних точок зору.

Наприклад, на перших чотирьох зображеннях згенерована модель насправді має більше двох вух. Хоча четверте зображення здається більш детальним, коли ми повертаємо його під певним кутом, ми можемо побачити, що обличчя персонажа увігнуте, а на ньому приклеєне вухо.

Хто розуміє? Редактор одразу згадав вигляд Свинки Пеппі спереду, який раніше був дуже популярним.

Це так, тобі показують певні ракурси, а ти не повинен дивитися на інші, інакше помреш.

Але модель покоління MVDream крайнього правого флангу, очевидно, відрізняється. Незалежно від того, як повертається 3D-модель, ви не відчуєте нічого нетрадиційного.

Це те, про що я згадував на початку. MVDream справді розуміє здоровий глузд фізики і не вигадуватиме якихось дивних речей, щоб забезпечити наявність двох вух у кожному кадрі.

Хлопець зазначив, що найважливіше для визначення успішності 3D-моделі — це спостерігати, чи є модель достатньо реалістичною та якісною з різних точок зору.

І нам також потрібно забезпечити просторову узгодженість моделі, а не модель з кількома вухами зверху.

Один з основних методів створення 3D-моделей полягає в імітації перспективи камери, а потім генерації того, що можна побачити з певної точки зору.

Іншими словами, це називається 2D-ліфтинг. Це поєднання різних перспектив для формування кінцевої 3D-моделі.

Вищеописана ситуація з кількома вухами виникає тому, що генеративна модель не має достатньої інформації про форму всього об'єкта у тривимірному просторі. І MVDream зробив великий крок вперед у цьому плані.

Нова модель вирішує проблеми узгодженості в 3D-перспективі, які виникали раніше.

Відбір проб методом фракційної дистиляції

Використаний метод називається вибірковою дистиляцією балів та розроблений DreamFusion.

Перш ніж зрозуміти метод фракційної дистиляції, нам потрібно зрозуміти архітектуру, яка використовується цим методом.

Коротше кажучи, це просто ще одна модель дифузії для двовимірних зображень, подібна до моделей DALLE, MidJourney та Stable Diffusion.

Точніше, все починається з попередньо навченої моделі DreamBooth, моделі з відкритим кодом, що базується на необроблених зображеннях Stable Diffusion.

Потім настали зміни.

Далі дослідницька група почала безпосередньо візуалізувати набір багатоекранних зображень замість одного зображення. Цей крок вимагає тривимірного набору даних різних об'єктів.

Тут дослідники взяли кілька зображень тривимірних об'єктів з набору даних і використали їх для навчання моделі генерувати ці зображення у зворотному порядку.

Конкретний підхід полягає в тому, щоб змінити синій блок самоуваги на рисунку нижче на тривимірний блок самоуваги, тобто дослідникам потрібно додати лише один вимір для реконструкції кількох зображень замість одного.

На зображенні нижче ми бачимо, що камера та часовий крок також вводяться в модель для кожного ракурсу, щоб допомогти моделі зрозуміти, яке зображення де буде використано та який тип ракурсу потрібно згенерувати.

Тепер усі зображення з'єднані між собою, і генерація також виконується разом. Тож вони можуть обмінюватися інформацією та краще розуміти загальну ситуацію.

Потім текст подається в модель, яка навчається точно реконструювати об'єкти з набору даних.

І саме тут дослідницька група застосувала процес багатовидової дистиляції балів.

Тепер, за допомогою багатовидової дифузійної моделі, команда може генерувати кілька видів об'єкта.

Наступний крок — використовувати ці вигляди для реконструкції 3D-моделі, яка відповідає реальному світу, а не лише вигляду.

Це вимагає використання NeRF (нейронних полів сяйва), як і у раніше згаданому DreamFusion.

По суті, цей крок заморожує попередньо навчену багатовидову модель дифузії. Тобто, на цьому кроці зображення вищезазначених перспектив лише «використовуються» і не будуть «навчатися» повторно.

Керуючись початковими рендерингами, дослідники почали створювати деякі версії початкових зображень з додаванням шуму, використовуючи багатовидову дифузійну модель.

Дослідники додали шум, щоб модель знала, що їй потрібно генерувати різні версії зображення, водночас враховуючи контекст.

Потім модель використовується для подальшої генерації зображень вищої якості.

Додайте зображення, яке було використано для створення цього зображення, видаливши шум, який ми додали вручну, щоб ми могли використовувати результат для керівництва та покращення моделі NeRF на наступному кроці.

Ці кроки спрямовані на краще розуміння того, на якій частині зображення повинна зосередитися модель NeRF, щоб вона могла отримати кращі результати на наступному кроці.

Цей процес повторюється доти, доки не буде створена задовільна 3D-модель.

Саме так команда оцінила якість генерації зображень багатовидової дифузійної моделі та визначила, як різні конструкції впливатимуть на її продуктивність.

Спочатку вони порівняли вибір модулів уваги для моделювання узгодженості між видами.

Ці варіанти включають:

(1) Одновимірна часова самоувага, яка широко використовується в моделях відеодифузії;

(2) Додавання нового модуля 3D-самоуважності до існуючої моделі;

(3) Повторно використати існуючий 2D-модуль самоуважності для 3D-модуля уваги.

У цьому експерименті, щоб чітко показати відмінності між цими модулями, дослідники використовували 8 кадрів зі зміною ракурсу на 90 градусів для навчання моделі, що ближче до місця дії відео.

Водночас, в експерименті дослідницька група також підтримувала високу роздільну здатність зображення, а саме 512×512, як початкову модель стандартної чіткості. Результати показано на малюнку нижче. Дослідники виявили, що навіть за таких обмежених змін перспективи в статичних сценах, часова самоувага все ще залежить від зміщення змісту та не може підтримувати узгодженість перспективи.

Команда дослідників висуває гіпотезу, що це пов'язано з тим, що часова увага може обмінюватися інформацією лише між однаковими пікселями в різних кадрах, тоді як відповідні пікселі можуть бути далеко один від одного, коли змінюється точка зору.

З іншого боку, додавання нової 3D-уваги без узгодженості навчання призводить до серйозного погіршення якості.

Дослідники вважають, що це пов'язано з тим, що вивчення нових параметрів з нуля споживає більше навчальних даних та часу, що не підходить для ситуацій, коли 3D-модель обмежена. Запропонована дослідниками стратегія повторного використання 2D самоуваги досягає найкращої узгодженості без погіршення якості генерації.

Команда також помітила, що якщо розмір зображення зменшити до 256, а кількість переглядів до 4, відмінності між цими модулями стали набагато меншими. Однак, щоб досягти найкращої узгодженості, дослідники зробили вибір на основі попередніх спостережень у наступних експериментах.

Крім того, для багатовидового фракційного дистиляційного відбору проб дослідники реалізували керівництво багатовидовою дифузією в бібліотеці ThreeStudio (THR), яка реалізує найсучасніші методи генерації тексту в 3D-моделі в рамках єдиної структури.

Дослідники використовували реалізацію неявного об'єму в ThreeStudio як 3D-представлення, яке включає хеш-сітку з кількома роздільними здатностями.

Для зображень з камер дослідники вибірково використовували камери точно так само, як і під час рендерингу 3D-набору даних.

Крім того, дослідники також оптимізували 3D-модель за допомогою оптимізатора AdamW для 10 000 кроків зі швидкістю навчання 0,01.

Для відбору проб методом фракційної дистиляції максимальний та мінімальний часові кроки зменшуються з 0,98 кроку до 0,5 кроку та 0,02 кроку відповідно в перших 8000 кроках.

Роздільна здатність рендерингу починається від 64×64 і поступово збільшується до 256×256 після 5000 кроків.

Більше прикладів наведено нижче:

Вище описано, як дослідницька група використовувала 2D-модель перетворення тексту на зображення, використовувала її для багатовидового синтезу та, нарешті, використала її для ітерації та створення процесу перетворення тексту на 3D-модель.

Звичайно, цей новий метод все ще має певні обмеження. Найголовнішим недоліком є ​​те, що зображення, що генеруються зараз, мають розмір лише 256x256 пікселів, що є дуже низькою роздільною здатністю.

Крім того, дослідники зазначають, що розмір набору даних, який використовується для виконання цього завдання, неминуче певною мірою обмежить універсальність цього методу, оскільки якщо набір даних буде занадто малим, він не зможе більш реалістично відображати наш складний світ.

Список літератури:

https://www.louisbouchard.ai/mvdream/

https://arxiv.org/pdf/2308.16512.pdf