Luma Labs

Luma Labs 是什么

Luma Labs 是一家专注于 AI 3D 重建技术的公司，创始于 2021 年，核心技术方向是用 AI 从普通视频和图片重建出高质量的 3D 场景和模型。公司的主打产品包括：

Luma AI App：手机应用，用户绕着物体拍摄视频，App 上传到云端，AI 处理后生成可以交互查看的 3D 场景，可以嵌入网页或者导出为 3D 格式。

Dream Machine：文字转视频生成工具，用 AI 根据文字描述生成短视频，是 Luma Labs 在视频生成领域的布局（这个产品让 Luma Labs 在 2024 年广泛被媒体报道）。

Genie：文字转 3D 生成工具，输入描述直接生成 3D 模型。

Luma Labs 的特点是技术上追求高质量，尤其是 3D 重建的真实感方面——NeRF 技术生成的 3D 场景不是传统的多边形网格，而是一种可以从任意角度生成真实感图像的隐式表示，视觉效果非常出色。

NeRF：核心技术的解释

要理解 Luma Labs 为什么特别，需要了解一下 NeRF。

传统的 3D 重建思路是：从多张图片里找对应点，重建出物体的三维形状（点云或者网格），再贴上纹理。这个流程对于简单形体效果不错，但对于有复杂光影变化的材质（玻璃、金属、透明物体）效果往往不理想。

NeRF（Neural Radiance Fields）是一种完全不同的方式：它不建立显式的几何模型，而是训练一个神经网络，这个网络学会了"从任意角度看这个场景，应该看到什么颜色"。当你从新的角度查看时，网络实时计算该角度看到的图像，效果非常真实，特别是对光影细节的还原。

这就是为什么 Luma Labs 的 3D 重建效果在视觉上非常出众——光泽、反光、半透明材质的还原程度远超传统方法。

主要产品功能

Luma AI 视频转 3D

使用 Luma AI App 或者网页版，上传绕物体拍摄的视频（建议绕行角度覆盖全方向，光线均匀），Luma 处理后生成：

• 可以在浏览器里交互查看的 3D 场景（类似 Google Maps 的街景探索感）
• 可以嵌入到网页里展示
• 可以导出为 .splat 格式（3D 高斯泼溅，Gaussian Splatting）或者视频文件
• 部分导出支持 GLTF/OBJ 格式，可以进入 3D 软件

这个功能特别适合：产品的 3D 展示（电商展示、博物馆文物展示）、建筑空间的 3D 记录、游戏场景参考素材的快速采集。

Dream Machine（文字转视频）

2024 年推出，用 AI 根据文字描述或者参考图片生成 5 秒左右的视频。Dream Machine 的视频生成质量被媒体和用户广泛认可，尤其在运镜流畅性和一致性上表现不错。

这让 Luma Labs 从"3D 重建工具"扩展成了一个"AI 视频生成"的重要玩家，和 Runway、Pika、Sora 等同台竞争。

Genie（文字转 3D）

更直接的 AI 3D 生成路线——不需要拍摄视频，只需要用文字描述你想要什么，AI 直接生成 3D 模型。和 Meshy、Tripo3D 是竞品，这个方向是 AI 3D 生成的主流路线。

将视频转为游戏资产

这是网站对 Luma Labs 的重点推荐方向，值得专门说明。

用 Luma Labs 把视频转成 3D，然后把这个 3D 内容用于游戏，有几种实际应用：

场景参考和概念素材：游戏美术师拍摄真实场景（一面墙、一个角落、一块石头），用 Luma 生成 3D 参考，在此基础上在建模软件里进行创作，比看 2D 参考图更有立体感。

直接用作游戏场景：对于走写实或者实景风格的游戏，Luma 生成的 NeRF 场景质量足够高，可以直接作为游戏中的场景或者 Cutscene（过场动画）背景。

纹理参考：从 Luma 生成的 3D 里截取特定角度的图片，用作 3D 建模时的纹理参考或者直接用于制作材质。

3D 扫描替代：专业 3D 扫描设备价格高，Luma 用手机视频实现了类似的效果，成本几乎为零，适合预算有限的独立开发者和小团队。

和其他工具的比较

vs Polycam：Polycam 也是手机 3D 扫描工具，支持 iPhone 的 LiDAR 传感器（精度更高）和普通摄像头模式。Luma Labs 在视觉效果（尤其是光泽材质的还原）上通常优于 Polycam，但 Polycam 对 LiDAR 的利用让几何精度更准确，适合需要精确尺寸的场景（建筑测量、室内设计）。

vs RealityCapture / Agisoft Metashape：这两个是专业的摄影测量软件，生成的 3D 网格精度极高，适合测量和高端视觉效果，但价格高且学习曲线陡。Luma Labs 简单易用，视觉效果好，但几何精度不如这些专业工具。

vs Runway / Pika（视频生成方向）：Dream Machine 是 Luma Labs 进入视频生成赛道的产品，和 Runway Gen-3、Pika 是直接竞品。三者各有擅长，视频生成质量和风格有差异，实际选用建议分别测试。

vs Meshy / Tripo3D（文字转 3D 方向）：Genie 是 Luma Labs 在这个方向的产品，和 Meshy、Tripo3D 直接竞争。这个方向竞争激烈，工具都在快速迭代。

谁适合用 Luma Labs

需要高质量 3D 展示的电商和品牌：产品的 3D 展示能让用户更直观了解商品，Luma 的视觉效果高，适合需要给高端产品做 3D 展示的场景（珠宝、手表、精密产品）。

游戏美术师和独立开发者：快速获取真实场景的 3D 参考和游戏素材，不需要专业扫描设备。

建筑和室内设计师：快速捕捉现有空间的 3D 状态，用于改造规划参考或者向客户展示。

文物和文化遗产保护：用 Luma 记录文物或者历史建筑的 3D 状态，数字化保存视觉信息。

内容创作者：用 Dream Machine 生成视频内容，用于社媒、广告、短片。

价格

Luma Labs 的 App 提供免费使用，有每月处理次数限制。Dream Machine 有免费额度，付费版提供更多生成次数和商业授权。具体以官网为准，整体定价对于个人用户较为友好。

Luma Labs 代表了 AI 3D 技术的一个重要方向——让高质量的 3D 内容创建从专业人士的特权变成普通人可以轻易实现的事情。无论是视频转 3D 还是文字转视频，Luma Labs 的技术质量在行业里都处于前沿位置，是值得认真关注和尝试的工具。