在快速發展的生成式 AI 世界中，從 2D 影像持續創建 3D 物件的挑戰一直存在。然而，來自各大學的研究人員宣布了一項重大進展：SyncDreamer。這種創新的生成式人工智慧工具使用獨特的擴散模型，僅從一張圖像中生成物體的多個 2D 視角。

SyncDreamer Generative AI 如何重新定義 3D 設計

生成式 AI 系統，特別是穩定擴散、DALL-E 和 Midjourney 等擴散模型，主要是為了預測雜訊分層時影像的外觀。這個過程涉及將影像從清晰狀態轉變為完全雜訊狀態，然後反轉該過程，使這些模型能夠從隨機雜訊模式產生複雜的影像。此外，文字到圖像生成人工智慧模型對此進行了擴展，從數十億個圖像描述對中學習，根據文字提示創建圖像。

然而，多視圖一致性的障礙阻礙了這些進步。儘管擴散模型很強大，但它發現拍攝 2D 影像並從新的角度描繪同一物件具有挑戰性。

早期彌補這一差距的嘗試依賴於生成 3D 物件的擴散模型 - 這項任務需要大量標記的 3D 物件。另一種策略結合了神經輻射場 (NeRF)，它可以從 2D 照片產生 3D 形式。儘管如此，這項技術仍然需要額外的文字描述和物件生成——這個過程不僅需要大量的計算，而且還需要大量的人工輸入。

輸入 SyncDreamer。 SyncDreamer 不是直接開始創建 3D 映像，而是獲取 2D 映像並產生相同主題的替代 2D 角度。然後，NeRF 等模型可以利用這些輸出來形成 3D 表示。

SyncDreamer 功能的核心是對多視圖影像的共享機率分佈進行建模的設計。透過採用多個雜訊預測器，SyncDreamer 可以同時產生多個影像。這種協調的方法確保了所有產生的圖像的一致性。

應用與實用性

從照片級真實感表示到手繪草圖，SyncDreamer 在場景重建或初始設計階段等任務中展示了其適應性。研究人員強調了該系統生成圖像的能力，這些圖像在語義上與原始圖像一致，並在顏色和形式上保持多視圖一致性。

這種生成式人工智慧模型的一個顯著優勢在於它與其他生成模型的協作。透過與穩定擴散或 DALL-E 等文字到圖像模型配對，設計人員可以輕鬆產生和完善概念。這種緊密結合的流程減少了 3D 藝術家的工作量，為遊戲開發和虛擬環境創建帶來了巨大的好處。

SyncDreamer 架構背後

對 SyncDreamer 架構的研究揭示了其多方面的擴散模型，該模型使每個視圖的生成保持一致。該過程是圍繞使用 UNet 模型對輸入進行去噪而構建的。為了確保多視圖一致性，專門的模組會組合影像的特徵並將其對應為 3D。然後，三維卷積神經網路 (CNN) 會捕捉這些空間特徵並將其投影到二維空間中。這種複雜的設計被研究人員稱為“3D 感知特徵注意力 UNet”，在維持模型的準確性和一致性方面發揮著至關重要的作用。

該系統在 Objaverse 資料集上得到完善，該資料集包含約 800,000 個標籤的 3D 物件和場景。 SyncDreamer 所測試的藝術風格多種多樣，從素描到水墨畫，這都凸顯了生成式人工智慧在未來幾年的巨大潛力。