No mundo em rápida evolução da IA ​​generativa, o desafio de criar objetos 3D a partir de imagens 2D tem sido consistentemente persistente. No entanto, pesquisadores de diversas universidades anunciaram um avanço significativo: o SyncDreamer. Esta ferramenta inovadora de IA generativa usa um modelo de difusão exclusivo para gerar múltiplas perspectivas 2D de um objeto a partir de apenas uma imagem.

Como o SyncDreamer Generative AI redefine o design 3D

Os sistemas generativos de IA, principalmente modelos de difusão como Stable Diffusion, DALL-E e Midjourney, foram desenvolvidos principalmente para prever a aparência de uma imagem à medida que o ruído é colocado sobre ela. O processo, que envolve a transição de uma imagem de um estado claro para um ruído completo e depois a reversão do processo, permite que esses modelos produzam imagens complexas a partir de padrões de ruído aleatórios. Além disso, os modelos de IA generativos de texto para imagem expandiram-se, aprendendo com milhares de milhões de pares de descrição de imagem para criar imagens a partir de pistas textuais.

No entanto, o obstáculo da consistência multiview tem impedido esses avanços. Apesar de sua proeza, os modelos de difusão acham desafiador pegar uma imagem 2D e representar o mesmo objeto de uma nova perspectiva.

Tentativas anteriores de preencher essa lacuna dependiam da geração de modelos de difusão para objetos 3D – uma tarefa que demandava volumes extensos de objetos 3D rotulados. Outra estratégia incorporou campos de radiância neural (NeRF) que podem gerar formas 3D a partir de fotos 2D. Ainda assim, essa técnica necessita de descrições textuais adicionais e geração de objetos – um processo que não é apenas computacionalmente intenso, mas também exige uma contribuição humana significativa.

Entra o SyncDreamer. Em vez de embarcar na criação de uma imagem 3D diretamente, o SyncDreamer pega uma imagem 2D e gera ângulos 2D alternativos do mesmo assunto. Essas saídas podem então ser utilizadas por modelos como o NeRF para formar a representação 3D.

Central para a função do SyncDreamer é seu design para modelar a distribuição de probabilidade compartilhada de imagens multiview. Ao empregar múltiplos preditores de ruído, o SyncDreamer pode gerar várias imagens simultaneamente. Essa abordagem coordenada garante consistência em todas as imagens geradas.

Aplicações e praticidade

De representações fotorrealistas a esboços manuais, o SyncDreamer demonstrou sua adaptabilidade em tarefas como reconstrução de cena ou estágios iniciais de design. Pesquisadores enfatizaram a capacidade do sistema de gerar imagens que são semanticamente alinhadas com o original e mantêm a consistência multivisualização tanto em cor quanto em forma.

Uma vantagem notável deste modelo de IA generativo está em sua colaboração com outros modelos generativos. Ao parear com modelos de texto para imagem como Stable Diffusion ou DALL-E, os designers podem produzir e refinar conceitos de forma expedita. Este processo coeso, que reduz a carga de trabalho para artistas 3D, oferece benefícios substanciais para o desenvolvimento de jogos e criação de ambientes virtuais.

Por trás da arquitetura do SyncDreamer

Uma olhada na arquitetura do SyncDreamer revela seu modelo de difusão multifacetado, que alinha a geração de cada visualização. O processo é construído em torno da redução de ruído da entrada usando um modelo UNet. Para garantir a consistência multivisualização, um módulo especializado reúne os recursos das imagens e os mapeia em 3D. Uma rede neural convolucional tridimensional (CNN) captura esses recursos espaciais e os projeta em um espaço bidimensional. Esse design intrincado, denominado pelos pesquisadores como "UNet de atenção a recursos com reconhecimento de 3D", desempenha um papel crucial na manutenção da precisão e consistência do modelo.

O sistema foi aperfeiçoado no conjunto de dados Objaverse, compreendendo cerca de 800.000 objetos e cenas 3D rotulados. A vasta gama de estilos de arte, de esboços a pinturas a tinta, em que o SyncDreamer foi testado apenas ressalta o potencial expansivo da IA ​​generativa nos próximos anos.