Nvidia 宣布推出 Magic3D，一款文字转 3D 内容创作软体。该软体将物件的文字描述转换为三维 (3D) 数位模型。该软体基于已在大型 3D 模型资料集上进行训练的神经网路。它可以从单一 2D 影像或一系列 2D 影像产生 3D 模型。

Magic3D 是一种新的文字转 3D 内容创建工具，可产生高品质的 3D 网格模型。我们为使用者提供了控制 3D 合成的新方法，透过结合影像调节技术和基于提示的编辑方法，为各种创意应用开辟了新途径。根据文字输入提示，Magic3D 可以产生最高品质的 3D 纹理网格模型。它利用从粗到精的技术，透过结合低解析度和高解析度扩散先验来学习目标材料的 3D 表示。 Magic3D 创建 3D 内容的速度是 DreamFusion 的两倍，而解析度监控的解析度是前者的八倍。

开发人员可以变更产生粗略模型的底层文字提示的部分，然后微调 NeRF 和 3D 网格模型以产生编辑后的高解析度 3D 网格。

它可以使用提供的提示来优化 3D 模型，并使用 DreamBooth 给定主题实例的输入照片来微调扩散模型。 3D模型可以有效保留主体的身份。

AI 使用两阶段从粗到精的最佳化系统来产生文字转 3D 材料，速度快且品质优异。第一步，它在生成粗略模型之前使用低解析度扩散，然后我们使用哈希网格和稀疏加速结构对其进行加速。在第二阶段，该模型采用从粗略神经表示初始化的纹理网格模型，以结合使用高解析度潜在扩散模型和有效的可微渲染器来实现最佳化。

阅读更多：

  • Joseph Lubin，以太坊联合创始人、ConsenSys 创办人、ConsenSys Mesh 董事长

  • 暴雪的目标是利用人工智慧来创造每个玩家独一无二的游戏

  • Nvidia 宣布推出 eDiff-I：用于文字和图像合成的新型生成式 AI，可即时传输样式

  • 稳定的扩散AI为VR和元宇宙创造梦想世界

Nvidia 推出 Magic3D 的帖子，这是一款新颖的文本转 3D 内容创建器，首先出现在 Metaverse Post 上。