急速に進化する生成 AI の世界では、2D 画像から 3D オブジェクトを一貫して作成するという課題が根強く残っています。しかし、さまざまな大学の研究者が大きな進歩を発表しました。SyncDreamer です。この革新的な生成 AI ツールは、独自の拡散モデルを使用して、1 つの画像からオブジェクトの複数の 2D 視点を生成します。

SyncDreamer Generative AI が 3D デザインをどのように再定義するか

生成 AI システム、特に Stable Diffusion、DALL-E、Midjourney などの拡散モデルは、主に画像にノイズを重ねたときの外観を予測するために開発されました。画像をクリアな状態から完全なノイズに移行させ、その後そのプロセスを逆にするプロセスにより、これらのモデルはランダムなノイズ パターンから複雑な画像を生成することができます。さらに、テキストから画像を生成する生成 AI モデルはこれを拡張し、数十億の画像と説明のペアから学習して、テキストの手がかりから画像を作成します。

しかし、マルチビューの一貫性というハードルがこれらの進歩を妨げています。拡散モデルは優れた性能を持っていますが、2D 画像を撮影して同じオブジェクトを新しい視点から描写するのは困難です。

このギャップを埋めるための以前の試みは、3D オブジェクトの拡散モデルを生成することに依存していましたが、これは大量のラベル付き 3D オブジェクトを必要とするタスクでした。別の戦略では、2D 写真から 3D フォームを生成できる神経放射場 (NeRF) を組み込んでいました。それでも、この手法では追加のテキスト記述とオブジェクトの生成が必要であり、これは計算負荷が高いだけでなく、かなりの人間の入力も必要とします。

そこで SyncDreamer の出番です。SyncDreamer は、3D 画像を直接作成するのではなく、2D 画像を取得して、同じ被写体の別の 2D 角度を生成します。これらの出力は、NeRF などのモデルで 3D 表現を形成するために使用できます。

SyncDreamer の機能の中心となるのは、マルチビュー画像の共有確率分布をモデル化する設計です。複数のノイズ予測子を使用することで、SyncDreamer は複数の画像を同時に生成できます。この調整されたアプローチにより、生成されたすべての画像間で一貫性が確保されます。

応用と実用性

SyncDreamer は、写真のようにリアルな表現から手描きのスケッチまで、シーンの再構築や初期設計段階などのタスクでその適応性を発揮してきました。研究者たちは、このシステムが、意味的に元の画像と一致し、色と形の両方でマルチビューの一貫性を維持する画像を生成する能力を強調しています。

この生成 AI モデルの注目すべき利点は、他の生成モデルとの連携にあります。Stable Diffusion や DALL-E などのテキストから画像へのモデルと組み合わせることで、デザイナーはコンセプトを迅速に作成し、改良することができます。この統合プロセスにより、3D アーティストの作業負荷が軽減され、ゲーム開発や仮想環境の作成に大きなメリットがもたらされます。

SyncDreamerのアーキテクチャの背後

SyncDreamer のアーキテクチャを見ると、各ビューの生成を調整する多面的な拡散モデルが明らかになります。このプロセスは、UNet モデルを使用して入力のノイズ除去を中心に構築されています。マルチビューの一貫性を確保するために、専用のモジュールが画像の特徴を組み立て、3D でマッピングします。次に、3 次元畳み込みニューラル ネットワーク (CNN) がこれらの空間的特徴をキャプチャし、2 次元空間に投影します。研究者が「3D 対応の特徴アテンション UNet」と呼ぶこの複雑な設計は、モデルの精度と一貫性を維持する上で重要な役割を果たします。

このシステムは、約 80 万個のラベル付き 3D オブジェクトとシーンで構成される Objaverse データセットで完成しました。SyncDreamer がテストされたスケッチから水墨画まで、さまざまなアート スタイルは、今後数年間における生成 AI の大きな可能性を強調するだけです。