GET3D

Nvidia的2D转3D模型

热度3D设计免费额度
访问官网
GET3D 预览

英伟达（Nvidia）在 AI 领域不只是做芯片——他们的研究团队一直在前沿技术上做扎实的探索。GET3D 是 Nvidia Toronto AI Lab 在 2022 年发布的研究成果，解决了一个当时看起来很难的问题：从大量 2D 图像中训练出一个模型，让它能直接生成有纹理贴图的、可以在 3D 软件里使用的网格模型（Mesh）。

这听起来和其他"图转 3D"的工作差不多，但 GET3D 的技术细节让它在当时的同类研究里显得格外实用。

GET3D 是什么

GET3D 全称 Generative 3D，是一个基于 GAN（生成对抗网络）的三维模型生成系统。和很多生成 3D 内容的方法不同，GET3D 的输出不是点云、也不是 NeRF 那样的隐式表示，而是带有 UV 贴图的 3D 网格——这种格式可以直接导入 Blender、Maya、Unity 或者 Unreal Engine 使用，不需要额外转换。

研究项目代码已在 GitHub 上开源（https://github.com/nv-tlabs/GET3D），但不是面向普通用户的产品界面，需要有技术背景才能使用。

技术原理

GET3D 的训练方式和通常的 3D 生成不同：它不需要 3D 数据集，只需要大量从不同角度拍摄同一类物体的 2D 图片，就能学习到这类物体的三维结构和外观规律。

系统内部分为两个部分：一个生成几何形体（Shape），一个生成表面纹理（Texture），两者同步训练、协同输出。最终生成的是一个具有真实感纹理的完整 3D 网格。

几何质量好：生成的网格拓扑结构合理，不是乱面、不是点云堆砌，而是有正常 Mesh 结构的三维模型。

纹理一体化：几何和纹理一起生成，风格和形体相互匹配，不存在贴图和形体对不上的问题。

随机生成的多样性：同一个类别可以生成大量不重复的变体，比如都是"椅子"，但形状、颜色、比例各不相同，非常适合需要批量生成同类资产的场景。

支持的内容类别

GET3D 的演示和测试覆盖了以下类别：

  • 交通工具：汽车、摩托车等，形体复杂、细节丰富，是展示效果最好的类别之一
  • 家具：椅子、桌子等日常家居物品
  • 人物角色：人体形态的 3D 生成
  • 动物：猫、狗等常见动物
  • 建筑结构：房屋、建筑物的基本形体

不同类别的生成质量有差异，交通工具和家具的效果在展示中更为出色。

与同期 3D 生成技术的比较

对比 NeRF（Neural Radiance Field）：NeRF 在 3D 重建上质量出色，但输出的是隐式场而非网格，在游戏引擎里无法直接使用，需要额外的转换步骤，过程繁琐、效果可能失真。GET3D 直接输出 Mesh，在工程使用上更务实。

对比 OpenAI 的 Point-E：Point-E 从文字描述生成 3D 点云再转化为网格，输入方式不同（文字 vs. 训练采样），两者各有侧重。Point-E 更灵活，但网格质量不如 GET3D 的 Mesh 结构规整。

对比 DreamFusion：同期 Google 发布的 DreamFusion 用文字提示词和扩散模型生成 3D，视觉效果有创意，但几何质量偏弱；GET3D 的几何准确性和拓扑质量更好。

对比 2024 年后的 Meshy / Tripo3D：3D 生成技术发展飞快，Meshy、Tripo3D 等后来的工具在质量和易用性上都有了很大进步。GET3D 代表 2022 年的研究水平，是这一代技术的重要里程碑，但当前如果只需要生成结果，后续工具更实用。

适合哪些人使用

AI 和 3D 方向的研究人员：GET3D 是三维生成技术的重要参考点，了解它的方法有助于理解这个方向的技术演进。在写论文做综述时，GET3D 经常被引用和比较。

想复现或改进的开发者：代码开源，有技术能力的开发者可以在本地复现，也可以在 GET3D 的框架上做二次开发，尝试用自己的数据集训练特定类别的 3D 生成器。

对 Nvidia AI 研究感兴趣的人：了解 Nvidia 在 AI 3D 内容生成方向的研究方法和成果，对理解 AI 技术生态有帮助。

游戏和影视的技术研究人员：批量生成不重复的同类 3D 资产，是游戏开发里的真实需求。GET3D 的多样性生成能力提供了一个技术思路。

使用限制

需要技术能力：GET3D 是 GitHub 上的研究代码，没有可视化界面，使用前需要配置 Python 环境、安装依赖库、熟悉命令行操作。对非技术人员不友好。

计算资源要求高：训练需要 GPU，Nvidia 自家的 GPU 自然更合适。纯 CPU 运行效率极低。推理（生成）阶段相对快，但也需要显卡支持。

不是最新技术：2022 年发布距今已有时间差距，3D 生成领域发展很快，很多后续工作在质量上超过了 GET3D。如果只是需要用 3D 生成来做实际工作，建议优先考虑更新的产品化工具。

生成类别受限：GET3D 的生成能力受训练数据限制，只能生成训练过的类别，不像文字引导的生成方法那样灵活。

开源资源

  • 论文：发表于 NeurIPS 2022，可在 arXiv 搜索到完整版本
  • 代码：https://github.com/nv-tlabs/GET3D
  • 演示视频：GitHub 页面上有生成效果的演示视频，可以直观了解生成质量

如果只是想了解 GET3D 能做什么，看演示视频是最快的方式；如果想深入了解技术原理，论文值得一读；如果要真正使用，需要做好部署环境的准备。

意义和地位

GET3D 在 AI 3D 生成技术史上是一个值得记录的节点——它展示了从 2D 数据中学习 3D 结构并生成可用 Mesh 的可行性，而且输出格式是行业通用的格式，不是研究性的隐式表示。这种"研究质量够高、工程实用性也好"的特点，让它在同期工作里获得了特别多的关注。

之后出现的大量 3D 生成工具，无论是学术研究还是商业产品，都在不同程度上受到了 GET3D 思路的影响。Nvidia 通过这个项目，在 AI 3D 生成方向上树立了一个有影响力的参考基准。

对于真正用 3D 资产工作的人，今天更推荐使用 Meshy、Tripo3D 等更成熟的工具；但如果你想了解这个领域是怎么走到今天的，GET3D 是绕不过去的一个里程碑。