В быстро развивающемся мире генеративного искусственного интеллекта проблема создания 3D-объектов из 2D-изображений остается постоянной. Однако исследователи из различных университетов объявили о значительном усовершенствовании: SyncDreamer. Этот инновационный инструмент генеративного искусственного интеллекта использует уникальную модель диффузии для создания нескольких двухмерных перспектив объекта из одного изображения.

Как SyncDreamer Generative AI переосмысливает 3D-дизайн

Генеративные системы искусственного интеллекта, в частности диффузионные модели, такие как Stable Diffusion, DALL-E и Midjourney, в первую очередь были разработаны для прогнозирования внешнего вида изображения при наложении на него шума. Процесс, который включает в себя переход изображения из ясного состояния в состояние полного шума, а затем обращение процесса вспять, позволяет этим моделям создавать сложные изображения из случайных структур шума. Более того, модели искусственного интеллекта, генерирующие текст в изображение, расширили эту тему, изучая миллиарды пар изображений и описаний для создания изображений на основе текстовых сигналов.

Однако препятствие в виде согласованности нескольких видов застопорило эти достижения. Несмотря на свою мощь, диффузионные модели испытывают трудности с получением двумерного изображения и изображением того же объекта с новой точки зрения.

Более ранние попытки преодолеть этот разрыв основывались на создании моделей диффузии для 3D-объектов — задача, требующая больших объемов маркированных 3D-объектов. Другая стратегия включала нейронные поля излучения (NeRF), которые могут генерировать 3D-формы из 2D-фотографий. Тем не менее, эта техника требует дополнительных текстовых описаний и генерации объектов — процесс, который не только является вычислительно интенсивным, но и требует значительного человеческого вклада.

Вводите SyncDreamer. Вместо того, чтобы приступить к непосредственному созданию 3D-изображения, SyncDreamer берет 2D-изображение и генерирует альтернативные 2D-углы того же объекта. Эти выходные данные затем могут использоваться такими моделями, как NeRF, для формирования 3D-представления.

Центральным элементом функции SyncDreamer является его дизайн для моделирования общего распределения вероятностей многоракурсных изображений. Используя несколько предикторов шума, SyncDreamer может генерировать несколько изображений одновременно. Этот скоординированный подход обеспечивает согласованность всех сгенерированных изображений.

Применение и практичность

От фотореалистичных представлений до набросков от руки, SyncDreamer продемонстрировал свою адаптивность в таких задачах, как реконструкция сцены или начальные этапы проектирования. Исследователи подчеркнули способность системы генерировать изображения, которые семантически соответствуют оригиналу и поддерживают согласованность многовидового изображения как по цвету, так и по форме.

Заметное преимущество этой генеративной модели ИИ заключается в ее сотрудничестве с другими генеративными моделями. Благодаря сочетанию с моделями преобразования текста в изображение, такими как Stable Diffusion или DALL-E, дизайнеры могут оперативно создавать и совершенствовать концепции. Этот сплоченный процесс, который снижает нагрузку на 3D-художников, предлагает существенные преимущества для разработки игр и создания виртуальной среды.

За архитектурой SyncDreamer

Взгляд на архитектуру SyncDreamer раскрывает ее многогранную модель диффузии, которая выравнивает генерацию каждого представления. Процесс построен вокруг шумоподавления ввода с использованием модели UNet. Чтобы обеспечить согласованность многопредставления, специализированный модуль собирает характеристики изображений и отображает их в 3D. Затем трехмерная сверточная нейронная сеть (CNN) захватывает эти пространственные характеристики и проецирует их в двумерное пространство. Эта сложная конструкция, названная исследователями «3D-aware feature awareness UNet», играет решающую роль в поддержании точности и согласованности модели.

Система была усовершенствована на базе данных Objaverse, включающей около 800 000 маркированных 3D-объектов и сцен. Широкий спектр художественных стилей, от эскизов до картин тушью, на которых был протестирован SyncDreamer, лишь подчеркивает обширный потенциал генеративного ИИ в ближайшие годы.