在 a16z 最新一期节目中，World Labs 联合创始人Fei-Fei Li、Justin Johnson 和 Ben Mildenhall与 a16z 普通合伙人Martin Casado分享了他们对空间智能的核心判断：AI 不仅要生成看起来逼真的画面，还要理解同一个世界从不同位置、不同时间看过去是什么样子。新模型 Atlas 以“新视角预测”为基础，将生成与三维重建整合到一起，让少量照片重建场景、三部手机拍出“子弹时间”等应用成为可能。在他们看来，这条路线有望进一步连接创作、设计与机器人训练；不过，更完善的动态模拟、可编辑性和交互能力仍有待发展，而继续扩大模型规模的主要瓶颈，是训练算力。

本文编译自a16z ，原文链接https://www.youtube.com/watch?v=qn1QDDBnTA0，以下是为编译。

Atlas：从几张照片，生成一个三维世界

Martin Casado：昨天对你们来说是个大日子。你们发布了一款新的前沿模型，反响非常热烈，而且关注还在持续增加。我想，我们不妨先说清楚这次到底发布了什么，再回过头聊聊它是怎么走到今天的。Justin，要不你先介绍一下，昨天发布了什么，为什么重要？

Justin Johnson：Atlas 是我们新一代的世界模型，基本上能做三件事：生成世界、重建世界，以及模拟世界。具体来说，它有几项主要能力。首先，它非常擅长根据相机条件进行生成。你可以输入一张图片，再给出一条相机运动轨迹，用这条轨迹引导模型，让它沿着你想要的任意视角生成视频画面。其次，它非常擅长利用少量图像进行三维重建。你可以输入一张或多张现实世界的图像，最多支持 100 帧，让它据此重建真实场景。重建结果既可以是一段穿行于这个空间的视频，也可以是这个空间明确的三维表示。最后，它还能用于模拟。我们展示了非常酷的“子弹时间”视频，在网上引起了不少关注，也展示了机器人仿真方面的应用。

Martin Casado：什么叫“子弹时间”视频？

Justin Johnson：这个说法来自《黑客帝国》。第一部电影里有个很有名的镜头，Neo 身体向后倒下，动作被放慢，相机则绕着他转了一圈。当时的拍法，是把上百台相机围成一圈，让他在摄影棚里、绿幕前完成这个动作，再用这些相机从不同角度拍到的画面，制作出那个经典镜头。但现在，用 Atlas，只需要三部相机就能实现类似效果。不需要摄影棚，不需要绿幕，也不需要昂贵的标定流程。我们甚至可以直接把三部 iPhone 架在三脚架上，拍下正在发生的事情，比如有人投篮，或者一颗草莓掉进一碗牛奶里。然后，仅凭这三段 iPhone 拍摄的视频，我们就可以重新设计镜头：比如让时间停在牛奶溅起的那一刻，再让相机向前推进，得到非常惊艳的时间凝固画面。整个过程只需要几部相机。

Martin Casado：能不能用最简单的话解释一下 Atlas 在做什么？输入的是什么，输出的又是什么？

Justin Johnson：Atlas 最核心、最基础的一件事，就是“新视角预测”。我们认为，这是一种非常令人兴奋的基础任务，也是此前还没有人这样用于基础模型的新方式。大语言模型建立在“预测下一个 Token”之上，视频模型可以理解为建立在“预测下一帧”之上，而 Atlas 做的是“预测新的视角”。具体来说，你给它一个场景的若干视角，或者一段场景描述，这些输入会进入我们所说的“空间上下文”，以隐含的方式描述我们讨论的究竟是一个怎样的世界。接着，你就可以把一台虚拟相机放到任意空间位置、任意时间点，让 Atlas 判断：从这个时间、这个位置看过去，这个世界应该是什么样子。

Martin Casado：Ben，现在有一大堆视频模型，都说自己是世界模型，也都说自己能生成新视角。你能不能更具体地拆解一下，Atlas 跟此前那些模型究竟有什么不同？

Ben Mildenhall：Justin 刚才提到的“空间上下文”，是一个非常重要的区别。很多视频模型最初受到关注，是因为它们能根据一张图片生成视频，或者在给定的首帧和尾帧之间补出中间画面。现在，我们也开始看到一些模型可以综合参考 20 张、30 张，甚至 50 张图片。但 Atlas 的关键在于，你输入的每一帧，都有明确的空间含义。它不是拿到一张图片后，想怎么理解就怎么理解，也不需要你反复调整文字提示，跟模型来回“掰扯”，才能让它完成某个具体要求。在 Atlas 里，每张图片都对应一个三维相机位姿，也就是相机的位置和朝向。这使得它能够以非常高的精度完成重建。比如，我们在这个房间的四个角各拍一张照片，把这四个视角输入模型，它就能准确复现房间里你看到的东西。它不会随意猜测另一个角落里是什么、不同物体之间是什么关系，而是按照你提供的信息进行还原。

这也可以用于创作和想象。比如，你拿来两张来自不同 AI 生成结果、或者不同现实地点的照片，实际上可以把它们安排在指定的位置，进行场景布置，从而设计出有明确创作意图的穿行镜头。你想要的内容放在哪里，相机看向哪里、沿着什么路线移动，都能精确控制。我认为，这跟视频模型很不一样。后者通常只提供比较笼统的文字控制，你得一遍遍重新生成，有点像反复拉老虎机，等一个满意的结果。

Martin Casado：那它只是把传统视频模型顺理成章地做大了，还是采用了一种新的架构？

Justin Johnson：我认为，它在几个方面都是相当新的东西。一个我们经常提到的区别，是它把生成和重建放在同一个模型里共同完成。就像 Ben 刚才说的，你给它这个房间的几个视角，它就能按照你实际看到的样子，把房间里的东西重建出来。过去，重建一直是计算机视觉中一个独立的研究分支，有自己的专门任务和专用模型。生成则是各种文生视频模型擅长的事情，比如过去几年出现的大型扩散模型。它们非常适合创作：我想象一个以前从来不存在的东西，让模型把它生成出来。现在，Atlas 第一次把视觉智能中这两个不同的部分放进同一个模型，让三维重建和生成可以在同一种架构里一起完成。

Justin Johnson：为此，我们做了一些调整。首先，模型从一开始就必须是多模态的。它原生支持文字、图片和视频，也把相机位姿作为一种原生输入。据我所知，此前还没有人在预训练阶段这样做过。同时，它还把三维信息作为一种原生模态来处理。所以，从设计之初，它就是一个原生多模态模型，而且据我了解，这种做法还没有其他人采用过。

Martin Casado：不好意思，我对这个领域不是特别熟。这里的“三维信息”，指的是深度、三维模型，还是别的什么？

Justin Johnson：我们目前采用的表示方式是深度图。也就是说，对于一帧画面，你可以有一台虚拟相机，说明它在三维空间中的位置。相机的位置和相机参数，都是模型的原生输入。与这个相机位置对应的，可以有一张 RGB 彩色图像，告诉模型从这个位置看过去是什么样子；也可以有一张深度图，告诉模型这个视角对应的三维空间结构。因此，文字、图片、视频、三维信息和相机信息，这些模态都在同一个模型里共同处理。

Fei-Fei Li：我想补充一点，因为 Justin 和 Ben 刚才说的其实非常重要，但它的重要性还没有得到充分认识。这是计算机视觉领域第一次将像素生成与像素重建统一起来。这个领域已经存在半个多世纪，我自己也在其中工作了几十年。围绕重建或者新视角合成，究竟写出了多少篇博士论文，实在数都数不过来。传统上，我们这个领域也分成不同的研究方向。你去参加计算机视觉会议，会看到像素生成的分会场、识别的分会场，以及三维重建的分会场。而这个模型用一种很简洁的方式，以视角和视角估计为基础，把重建与生成统一起来。这是非常强大的能力。

Martin Casado：我们能不能退一步，把这个问题再讲清楚一些？我记得你们刚创办公司时说过，想解决的是“空间智能”。现在有了这个新模型，对我这样一个外行来说，它似乎非常通用。大语言模型预测下一个 Token，你们则预测新的视角：给出一个或一组视角，再得到另一个视角。你能不能解释一下，为什么这是迈向空间智能的重要一步？或许可以先从什么是空间智能说起。

Fei-Fei Li：空间智能最终必须让我们能够生成空间，在空间中进行推理，以及编辑空间、与之交互。我们可以讨论它究竟是三维还是四维，但最终肯定是包含时间维度的四维。即便只考虑三维，刚才这些也都是空间智能必须支持的基本任务。有了这些能力，我们才能进一步做渲染、模拟和行动规划。但要做到这些，首先必须解决一个根本问题：理解空间的几何形态、结构和物理规律。

我确实认为，Atlas 向前迈出了重要一步。因为现在，对于每一帧画面，你都能够生成、估计一项重要信息，也就是视角，以及对应的相机位姿。这是理解空间几何时最关键的信息，而它又能带来我们在模型下游应用中看到的各种涌现能力，这些都已经展示在我们的博客里了。因此，在通往空间智能的道路上，生成像素当然是早期的一步。你刚才说的那一大堆模型，已经展示了这种能力。但让生成的像素真正有空间上下文作为依据，真正对应到空间中，则是另一个重大的进步。Atlas 跨过的，正是这道很难的关。

当然，我们还可以继续往前走。第四个维度，也就是时间，会带来动态变化；我们也可以进一步提高模拟的保真度，更细致地刻画空间。这些都是空间智能路线图的一部分。

从 Marble 到 Atlas，三维重建跨过了哪些难关

Martin Casado：很好。我确实想深入聊聊接下来会走向哪里，但不妨先说说，你们是怎么走到这里的。World Labs 成立多久了？

Fei-Fei Li：两年半。

Martin Casado：两年半。你们此前其实也发布过模型。那为什么不直接一步做到 Atlas 呢？

Fei-Fei Li：好问题。说起来好像它一下就能变出来，对吧？Justin 的团队需要很多芯片。

Justin Johnson：对，确实需要大量 GPU，才能真正把这个模型做大。去年，我们发布了 Marble 世界模型，那是我们推出的第一款重要世界模型，也是目前 Marble 产品背后的模型。Marble 很酷，它可以接收图片、视频和文字提示，并据此生成三维世界。但 Marble 和 Atlas 最大的区别之一，恰恰在于输出采用什么形式。Marble 主要使用高斯泼溅作为输出的三维表示方式。不管输入什么，它最终输出的，都是用高斯泼溅表示的三维世界。

Justin Johnson：高斯泼溅非常实用，也有很多优点：容易渲染，可以在移动设备和 VR 设备上高效呈现，还能与游戏引擎、仿真引擎配合使用。但我认为，这也成为此前 Marble 模型的一个瓶颈。所以，我们在 Atlas 中重新调整了设计。我们意识到，需要更早地把不同模态的处理路径分开，同时让这些模态在模型内部以更统一的方式协同工作。现在，Atlas 最基础的任务不再是“生成一个高斯泼溅世界”，而是前面说的“新视角预测”。它可以生成 RGB 画面，也可以生成三维信息；当你需要时，我们可以用这些结果生成漂亮的高斯泼溅世界。但如果不需要，我们就不必让所有输出都经过高斯泼溅这一道限制。为了弄清楚这些不同表示方式各自的优缺点，我们确实花了很多心血。

这是一个方面。另一个方面是，你得沿着规模扩展这条路一步步往上走：先做小规模实验、训练小模型，逐渐建立信心，判断什么方法能奏效、什么方法能够继续扩大规模。如果你一开始就知道哪条路线能扩展，那当然应该直接去做。但我们创办公司的时候，情况跟今天很不一样，当时还没有空间智能的规模定律。那时的技术发展到了另一个阶段。我们对未来有很大的抱负，但还是经过了几轮迭代，才找到现在这种任务设定，让我们觉得：就是它了，这才是能够真正扩展下去的方向。

Martin Casado：Ben，你是 NeRF 的创作者，在三维和重建领域做了很多工作。对我来说，拿到几个不同视角，就能最终得到一个三维场景，这件事并没有那么理所当然。但你几乎整个职业生涯都在做这件事。能不能讲讲，这中间究竟是怎么实现的？

Ben Mildenhall：没错，我职业生涯里的很多年，实际上是绝大部分时间，都在研究如何从图像中生成三维内容。公司刚成立时，我们也反复讨论过：最终应该用什么方法来生成三维？是先合成多个视角，再据此构建三维场景，还是直接生成三维？整个领域对此一直有很多不确定性：哪条路线最终会胜出，或者哪条路线能更早体现出优势，当时都不清楚。不过，我对前一种思路确实很有信心，因为此前三年，我们已经在密集重建上看到了扩大规模带来的力量。我甚至会把它叫作一种靠增加规模、硬推出来的进步。当然，那只是非常初级、非常小规模的扩展，跟真正的大模型规模扩展还不是一回事。

Martin Casado：为什么叫“密集重建”？“密集”是什么意思？因为我们接下来还要谈“稀疏”，我想先让大家明白两者的区别。

Ben Mildenhall：我认为，这其实也是三维重建技术走向产品和商业应用时遇到的一个根本难题。一般人会觉得，我给这个物体拍了三张照片，或者给这个房间拍了六张照片，自己看一看，就能在脑海里把它们拼起来，补上没拍到的部分，理解整个空间是什么样子。但过去，我们始终没能很好地把这种从大量数据中学来的先验知识，与依赖密集采集的重建方法结合起来。我们以前做的密集重建，实际上更接近科学成像或医学成像：凡是你希望出现在重建结果里的东西，都至少需要从三四个视角拍到。想想这个房间就知道了，麦克风底下、桌子底下、每一道缝隙、植物的叶片之间，都需要拍到。要真正覆盖所有这些位置，你就得在房间里来回走，进行非常细致、非常穷尽的拍摄。你们应该都见过我在各种地方跑来跑去采集图像。对一个训练有素的人来说，这可能只需要几分钟；但如果把一部普通手机或采集设备交给一般用户，甚至是第一次做这件事的专业人士，他们可能要花一个小时。我见过有人第一次扫描一个包含多个房间的空间，来回走了两个小时，才获得足够的覆盖。这是一个非常繁琐、非常耗时的过程。

所以，我们说“密集”，是真的非常密集。就这个房间，我可能需要拍 100 张、200 张、300 张照片，才能把它完整采集下来。而我们现在想做的，是把这个数量降到三张左右，相当于减少到原来的五十分之一、百分之一。到了这个程度，哪些素材可以拿来做重建，整个判断标准都会变。你可以翻出以前已有的照片，可以拿网上找到的图像来搭建场景，也可以使用随手拍的视频。大量过去根本不会被我们视为“能够用于重建”的旧素材，现在都有可能重新变成三维场景。我们已经用 Atlas 做了很多这样的尝试。我把自己以前拍过、但一直没能成功重建的素材放进去，第一次看到了它们的重建结果；也试过拿以前的采集素材，扔掉其中 95% 的照片，再生成一些用传统 NeRF 或高斯泼溅重建方法根本得不到的视角。

Fei-Fei Li：官网演示里有一个细节，大家可能没有充分注意到，就是斯坦福校园的那个例子。Ben 只用了 3 到 25 张不等的图片，就能重建整个斯坦福中央庭院。关键在于，我们展示的是空中俯瞰的视角，但所有输入图片，都是 Ben 站在地面上拍摄的。所以，你看到的那些画面都是生成出来的，但又遵循了重建所要求的空间关系。这真的很神奇。

Justin Johnson：这正说明，要解决这个问题，生成和重建必须从根本上配合起来。按照 Ben 刚才介绍的传统重建方法，之所以需要那么多视角，是因为你必须从多个角度观察同一个点，再通过三角测量，确定它在三维空间中的位置。这是传统方法的必要条件。反过来说，只要某个部分没有被这些视角拍到，某个像素没有出现在任何输入图像中，重建出来的三维场景那里就会留下一个空洞。因为，如果输入视角里根本没有出现过某样东西，你就必须靠想象把它补上，而这本质上就是一个生成过程。哪怕就在这个房间里，我们给 Ben 一部单反，让他尽情拍上几百张照片，即便他是密集采集方面的世界级专家，也还是会漏掉一些地方。他不可能拍到每一个麦克风下面、每一张桌子下面，以及所有椅子腿之间的空隙。不管拍多少个视角，总会有遗漏。因此，模型必须具备生成这种机制，因为你永远不可能把一切都拍全。它需要根据已经看到的内容，先通过三角测量确定可见部分，再补上那些不可避免没有被拍到的地方。

Ben Mildenhall：这里有一点特别有意思，大语言模型领域其实早就理解了。最初几年，大家几乎是在打“上下文长度大战”：从 128，到另一个更大的数字，再到 512，最后到 100 万。〔编注：原转写中第二个数字不清，前几项的单位也未注明。〕现在，大家已经能很直观地理解上下文长度的价值。比如，用编程模型解决一个难题时，就会想把上下文窗口开大一些。但在图像和视频模型这边，还没有人用同样系统的方法去推进这件事。比如，把一段长达一小时的视频放进去，再做“大海捞针”式检索，找出第 37 分钟的某一帧，并没有人在这里这样大力推进。而把重建与生成结合起来，你就会发现，同样的逻辑也适用：所谓重建，其实就是给生成模型一个很长的上下文，再往里面放入大量信息。这样，重建与生成之间就不再是割裂的，而是可以连续过渡。

这是 Marble 以前做不到的。Marble 有一个根本性的限制，说实话，你很难往里面塞进超过几张图片。但在 Atlas 里，我可以输入一组 64 张照片的采集素材，生成穿过整栋房子的镜头。里面的内容都有依据：要么已经被拍到，要么接近已经拍到的区域，要么只是对未拍到的部分进行少量外推。我以前为了采集一栋有多个房间的房子，拍了 2,000 张照片；现在把它缩减到 30 到 40 张输入，生成的穿行镜头看起来基本一样。以前这完全难以想象，而这一切，都得益于我们做出了一个能够随着规模扩大而良好工作的上下文窗口，你可以不断把素材放进去。

Martin Casado：所以，可以这样理解吗：“稀疏”指的是你实际拍摄的照片很少，Atlas 负责生成其余视角，然后再用传统重建技术把它们变成三维场景。大致是这个意思吗？

Ben Mildenhall：某种意义上是的。这就是 Atlas 很妙的地方。你手头有多少输入都可以，少到只有一个视角也行，然后你几乎可以把 Atlas 当成一个渲染引擎，生成你想要的其他画面。

Martin Casado：也就是说，你可以操控一台虚拟相机。

Ben Mildenhall：对，完全正确。你可以说：“我这里已经有一张照片，现在我想要那个位置、那个位置，还有那个位置的画面。”先生成几个这样的视角，再安排一段视角密集、连续移动的穿行镜头。因为它是一个自回归模型，所以你可以按顺序一步步生成。生成过程中，把哪些内容以交互方式加入上下文，由你自己决定。

Martin Casado：真正让我觉得不可思议的是，我脑子里的理解很简单：我有四张照片，让模型把它们之间的画面推出来；而且，当我控制相机移动时，这些画面还必须彼此对得上，整个空间必须是三维一致的。我一直觉得，扩散模型生成的东西可以很好看，但不一定准确。我甚至不知道该怎么把这个问题问清楚：它到底是怎么让整个房间对得上的？为什么能够保持三维一致性？只是因为数据足够多吗？

Justin Johnson：一部分原因，确实是我们相信规模扩展这个假设……

Martin Casado：说到这里，我必须问一句：你们刚开始做的时候，就知道它一定能成功吗？

Justin Johnson：我当时相当有把握。

Martin Casado：那你呢，也这么确定吗？

Fei-Fei Li：我认为，我们三个人对规模定律都很有信心，这一点确实如此。但具体选择什么架构、采用什么样的数据配比，难点都藏在这些细节里。我看着 Justin 和他的团队一步步走过来：最初是“我们真的不知道还要多久”，后来是“好像看到一点起色了”，最后变成“哇，这条路真的走得通”。此前没有人做成过，但我们从很早就相信两个假设：一个是规模定律，另一个是新视角预测。

Justin Johnson：我非常相信它最终会成功，但我不确定它会这么快就做到这么好。毕竟，采用全新的架构、全新的任务设定，第一轮预训练就能奏效，本身就是一件很不可思议的事。我当时觉得，也有可能需要再做几轮预训练迭代，才能达到我们想要的质量。

Martin Casado：那么，这种架构的规模扩展是不是已经接近尽头了？接下来需要另一次突破，还是说……

Fei-Fei Li：不，我们才刚刚开始。

Martin Casado：真的吗？不用改变架构，也能继续往前走？

Justin Johnson：我认为，我们基本上还处在起点。现阶段，限制我们的主要是算力。正如 Fei-Fei 经常强调的，数据当然非常重要，但每个阶段都有自己的瓶颈。现在，要继续扩大这个模型，主要瓶颈其实是训练算力。开发过程中，我们训练了一系列模型，在规模扩展这条阶梯上走了最初几级，博客里也简单介绍过。每一次把模型做大，每一次延长训练时间，每一次投入更多芯片，模型表现都会明显改善。博客里展示的，当然是我们训练过的最大、效果最好的模型。但让我们停在这个版本上的，并不是规模扩展失效了，也不是数据之类的原因，而是我们设定了一个发布日期，再从这个日期倒推：在期限和预算允许的范围内，到底能训练出多大的模型。

Fei-Fei Li：我讲一个内部的小故事。Justin 和团队当时按照路线图，从小模型逐步训练到稍大一些的模型。初夏有一天，那甚至还不是现在 Atlas 这么大的模型，而是一个更小的版本，Ben 把它用到了视角生成上。你们还记得 NeRF 论文，以及后来很多论文里出现过的那张花园桌子吗？那天夜里，Ben 在 Slack 上发了一段结果，我们都看到了：镜头从桌子下面穿了过去。

Ben Mildenhall：对，下面还有那个足球。

Martin Casado：足球是模型自己生成出来的，还是原来的照片里就有？

Ben Mildenhall：原来就有，是真实存在的。

Fei-Fei Li：那天早上，我们三个人看着彼此，直接说：“就是它了，我们要把这个做出来。”我们在五秒钟内就做出了决定，因为以前从来没有人展示过这样的结果。

创作者和机器人，为什么都需要世界模型

Martin Casado：Ben，能不能更具体地谈谈应用场景？World Labs 过去有很多创意领域的用户，他们用你们的产品保持二维画面的一致性，也用在电影、三维内容和游戏制作中。Atlas 怎样帮助这些现有用户，又能带来哪些新用途？之后，我还想聊聊机器人。

Ben Mildenhall：当然。有意思的是，我们观察到，Marble 的一种主要用法，恰好就对应“新视角预测”。这里说的 Marble，是我们之前的产品。很多人输入一张图片，得到一个用高斯泼溅表示的完整三维场景，然后从几个不同角度截几张图，就离开了。我们看到后就想：那我们直接生成这些图片不就好了？而且，中间经过三维表示这一步，画质还会有不少损失。用户可能会说：“这面旗子还能再好看一点。”那么，如果我们保留同样精确的视角控制，但直接用生成模型来生成那些视角呢？视角合成作为一个学术问题，已经研究了很长时间，但过去通常建立在密集采集的基础上。相比之下，生成式的视角合成，还是一个比较新的问题。

我们看到，创作者的工作流程通常有很多环节。我想，几乎没有人只用一个包办一切的模型完成整项工作。〔编注：原转写此处提及的具体产品或模型名称不清。〕他们会先用自己喜欢的各种图像模型，制作一批分镜图和视觉参考图，再到不同的视频工具里，把这些图当作关键帧串起来，最后进行剪辑。Marble 在其中承担了一个相对小众、但非常明确的作用：让生成内容有一个三维一致的世界作为依据，不至于前后对不上。我自己也跟各种图像模型较过劲，让它们生成同一个房间的不同视角，但每次看结果，都会发现某些东西挪了位置，空间并不稳定。哪怕只是这样一个小小的应用，就已经表明这里有价值，而且还有更多价值尚未被挖掘出来。

几十年来，人们早就习惯了在电脑里维护一个状态能够持续保留的三维空间，把现实中要做的事情先在虚拟环境中搭建出来，里面有布景、道具和各种元素。无论是电影、节目、营销画面，还是游戏场景，空间状态能够保留、前后保持一致，都非常重要。这也是人们进行空间推理、不断完善一个环境时的基本思路。大家并不是生成一个东西，用完就扔，再生成下一个，最后只留下几条文字提示。人们想积累一套素材，用这些素材搭建一个世界。所以，我们希望通过空间上下文等机制，提供这种控制能力和精确度，同时接收不同模态的输入。现在从带有相机位姿的图像开始，未来还希望让用户进一步控制场景中的各个元素，进行编辑和交互。这既能拓展现有领域的用途，也能覆盖更多需要复制现实空间、或者在实际建造前先把空间设想出来的地方，比如建筑设计和施工。

我曾经跟一个做展会展位搭建的人聊过。现实中有太多需要制造、搭建的东西，是你平时根本不会想到的，而它们几乎都得经历一个相当费工夫的虚拟设计过程。目前，这个流程里最繁琐、最耗人力的环节之一，就是进入三维软件后具体操作。比如，创意总监、设计总监或者建筑师，通过口头评论、草图，或者非常简略的方式提出修改意见，你再把这些意见落实到三维模型里，这可能就占了 95% 的工作量。你开个会收集反馈，回去之后却得改上一个星期。原因在于，我们使用的这些软件已经延续了几十年，却始终没有变得像搭乐高、做陶艺、直接动手制作，或者拿铅笔画草图那样直观。这才是 AI 真正能够给工作流程带来巨大价值的地方，不管是创作、工业应用，还是设计。这也是我很想针对这些用户，开发不同版本模型的动力。

Martin Casado：我能理解它如何帮助创作者，因为 Marble 已经做到了，也能理解它如何进一步用于设计和建筑。但 Fei-Fei，你们还收购了一家机器人公司。

Fei-Fei Li：我们刚才也聊到这件事了。

Martin Casado：我知道。不过，它跟机器人的联系，对我来说就没有那么直观了，尤其是 Atlas 在其中能做什么。能不能具体解释一下？

Fei-Fei Li：事实上，Atlas 是其中非常关键的一环。我们收购的这家公司，之前叫 Scenix。〔编注：原转写对该公司名称有不同拼写，此处暂沿用首次出现的写法。〕它的核心技术，是一套从现实进入仿真、再从仿真回到现实的系统。这在机器人领域是什么意思呢？比如，你想训练一条机械臂，让它在工业环境中完成布线。首先，你需要大量数据，训练出能够执行布线任务的机器人控制策略；然后，你要评估这个策略表现如何；最后，才把机器人部署到真实的布线环境中。为了完成训练，这家公司，也就是我们现在的机器人团队，以前做的正是 Ben 刚才所说的密集重建：拍摄一个环境，再设法把它重建出来。这个过程非常痛苦，费时费力，严重拖慢了把现实环境转成仿真环境的速度。Atlas 就是解决这件事的下一代技术。

这不仅适用于机器人布线。把视野放大一点就会发现，机器人领域现在最大的问题，其实是数据。将来某一天，瓶颈可能会变成芯片，但目前还是数据，因为机器人实际操作环境中的真实数据太难采集了。而且，你不只是要收集布线、洗碗或者其他任务的数据，还有一个非常重要的步骤，叫作“随机化”：在同一个环境中，改变各种条件。电缆不能永远只朝一个方向弯，也可能朝另一个方向弯；箱子可能有不同的尺寸、颜色和盖子，也可能放在场景中的不同位置。因此，除了网上能获得的数据，你还需要把现实环境转成仿真环境，才能获得足够多的这类数据。Atlas 能为这个过程提供很大帮助。

这只是第一步，是在现有技术条件下满足机器人的需求，因为我们还没有一个足够稳健、能够胜任机器人任务的前沿基础模型。但 Atlas 是一个多模态模型，可以接收不同类型的输入，也可以生成不同类型的输出。完全可以设想，下一步让它接收动态数据，就能开始把 Atlas 的输出与机器人的行动规划连接起来。这也在我们的路线图上。

Martin Casado：你刚才是不是也想补充？

Justin Johnson：对。我想说，训练机器人控制策略，跟我们此前看到的其他 AI 应用有一个根本区别。生成代码、图片或者视频时，模型本质上是在产出一份内容，而这类内容的现成例子，你可以去网上或其他地方大量收集。想生成图片，就有大量图片可以学习；想生成视频，就有大量视频；想生成代码库，也有大量代码库。但机器人控制策略完全不同，它不是产出一个静态的东西，而是要进入现实世界，采取行动，努力完成一个目标。现实世界并不总会按你的预期作出反应，总会有意外发生。所以，机器人控制策略本质上是一个在现实中与世界交互的智能体。训练时，至关重要的一点，是让它接触部署后可能出错的各种情况。这就是仿真对机器人如此重要的原因。

这里有两条路线。第一条是传统仿真：你选一个物理引擎，由人类设计者发挥想象，尽量想全完成这项任务时可能遇到的情况，再把它们逐一写成代码、建立模型。这是一条值得探索的路线，而且编程智能体也会大幅增强这种做法。另一条路线则更加依赖数据：能不能训练出一个模型，让它理解环境会怎样回应行动，包括那些有时出人意料的反应？我们能不能用尽可能多的数据，训练这种神经网络模拟器，再把它作为训练机器人控制策略的仿真环境？这是 Atlas 未来一个非常值得探索的方向。

但事情还不止于此。一旦有了这种通过学习得到的模拟器，它的“脑子”里其实已经具备了对世界的理解，也知道世界会如何回应行动。那么，为什么不让模拟器本身成为规划器呢？这正是我们一直以来对世界模型及其通用性的核心判断：生成世界、模拟世界、理解世界在不同情境下会呈现什么样子，背后有一些共通的核心能力。理解“世界会如何回应某个行动”，与设想“我需要采取什么行动，才能让世界作出某种回应”，其实是高度相关的。

让生成的世界动起来，还能随时修改

Martin Casado：顺便再恭喜一下，这次发布收获的反馈几乎是一边倒的好评。我认为，这可能是今年最重要的一次模型发布。大家都赞不绝口，不过，我也给一位这个领域的专家发了消息，问他怎么看。他人非常好，回复说：“太棒了，非常惊艳，但还需要更多动态变化。”至少在机器人应用里是这样，放到更广泛的场景里，一个真正会动的世界似乎也更理想。能不能聊聊这一点？以及其他你们方便分享、也值得展开谈谈的未来方向。

Justin Johnson：动态能力肯定会继续发展。实际上，我们已经有一些初步的动态能力了。大家可能没有充分注意到这一点，我们在博客里也没有特别强调。此前的 Marble 世界模型，从根本上说是静态的，它完全无法处理动态变化。这个限制既存在于模型架构中，也存在于训练方式中，整个系统本质上就是静态的。Marble 之后，我们已经意识到这是一个大问题，而在 Atlas 中，我们已经解决了这个基础层面的限制：Atlas 的架构本身就支持动态变化，训练数据里也包含动态内容。如果仔细看我们发布的一些视频，就会发现里面其实已经有一些东西在动。

Fei-Fei Li：对，比如水面的波浪。

Justin Johnson：没错，有些示例里水面有波浪，有些生成的俯瞰画面里，能看到小汽车在移动。所以，动态能力其实已经存在于这个模型中。

Martin Casado：但如果你要根据多个视角重建三维空间，动态变化在我看来会带来很大的麻烦。这两件事不会相互冲突吗？

Justin Johnson：不会。我们的一项判断恰恰是：如果你要做三维重建，确实希望场景没有动态变化，希望建模的是时间凝固在某一刻时，场景从各个角度看过去的准确样子。但这也是我们之前采用 Marble 那条路线时遇到的问题。你可以尽量寻找完全静态的数据，可这类数据很难大量获取，也很难持续扩大规模。后来我们意识到，即便最终想要的是静态输出，最好的办法其实也是让模型接触动态内容：把你能找到的动态和静态数据都尽可能多地交给它，让模型自己学会把动态因素分离出来。因此，Atlas 在预训练阶段就已经见过大量动态内容，只不过，这次发布版本的后训练，更侧重静态场景，更关注空间中的视角移动，而不是时间上的变化。我相当确信，预训练后的模型里已经有很多尚未充分发挥的动态能力。接下来，我们会在这方面做很大的改进。

Martin Casado：那么 Ben，这是不是意味着，我们会得到一种可以走进去、四处移动观看的四维视频？

Fei-Fei Li：你看他们脸上的笑容就知道了。

Martin Casado：其实我觉得，哪怕你们现在不再增加新的能力，只把现有模型做得更大、更快、更好，几乎就足以支撑起一个完整的产业了。它像是一种适用范围非常广的基础能力。不过，除了更大、更快，在你主要关注的内容创作和三维应用领域，还有哪些新能力是你特别期待的？

Ben Mildenhall：我非常期待进一步发展多模态能力。不同形式的控制方式，在这里至关重要。我认为，大家严重低估了给模型加入控制条件的重要性，尤其是学术界。要把模型内部已经具备的能力真正调动出来，控制条件非常关键。说实话，关于动态和静态之间的区别……

Fei-Fei Li：用大白话来说，就是“可编辑性”。我认为，关键就在这里。

Ben Mildenhall：对。我们已经在单张图像模型里看到这种能力，今年也开始在视频模型中看到一些进展：用户可以进行多轮修改，或者让模型直观地理解“我想要这个人、这个物体，以及这件事情发生”，再把这些要求组合起来，而不必自己在系统里做大量手工操作。在编辑方面，前沿图像模型已经有点做到这个程度了，但这种能力还没有同样充分地延伸到视频和世界模型中。我们确实见过一些偏演示性质的例子，比如在某些实时模型里输入一句话，就出现一只恐龙。但我想把这种能力提升到真正能用于专业生产的水平。难点在于，你必须增加控制能力，却不能牺牲模型质量，否则它就只是一个展示时能逗大家开心的小把戏。你多给用户几个调节选项，但画质变差了，没有人会认真考虑放弃自己正在使用的前沿视频模型，转而使用你的模型。

Ben Mildenhall：所以，真正要解决的是：一方面保持当前模型已经达到的高质量输出，另一方面加入用户希望获得的各种能力，比如与场景交互、控制布局、指定场景中出现哪些具体物体，以及控制时间。随着这些控制变得更加丰富、更加复杂，也会出现大量值得探索的产品和交互界面问题。你几乎可以从头重新设计，人们究竟应该如何与电脑里这些能够保留状态的三维世界交互。最终目标，就是具备构建这类系统所需的全部能力。

Martin Casado：很棒。除了把模型做得更大、更好，你还有什么特别期待的新功能想补充吗？

Fei-Fei Li：对我来说，还是要回到智能最基本的原理。谈到空间，尤其是物理空间，智能并不只是静静地坐在那里，看见某个东西，或者解释某个东西，而是要把观察、体验与交互连成一个完整的循环。所以，沿着这条路继续向前走，正是 Ben 刚才所说的方向。

预测新视角，能否成为通向智能的另一条路

Justin Johnson：这里有一个很有意思的概念，叫作“AI 完备性”。你听说过吗？

Martin Casado：听说过。我通常是在大语言模型的语境里听到这个说法。大概是说，要回答最聪明的语言模型才能回答的问题，你自己也得达到那样的智能水平，或者说，你必须先解决通用智能的问题。

Justin Johnson：不完全是。它跟“图灵完备性”有某种联系。这里想表达的是，在经典复杂性理论中，你可以把某一类问题里的任意问题，归约到一个问题上，再利用这个问题的求解方法，去解决那一类问题。比如，可以把相应的 NP 难问题归约到同一个问题，再通过求解它来处理其他问题。〔编注：原转写此处的具体问题名称不清，且口述混用了图灵完备性与复杂性理论中的归约概念，此处保留其类比意图。〕所以，“AI 完备性”的一种宽泛理解是：存在一个基础性的 AI 任务，如果你能在最广泛、最一般的情况下彻底解决它，就能解决任何智能问题。

大语言模型中一个经典的说法是，“预测下一个 Token”具有 AI 完备性。我记得 Ilya 举过一个例子：让模型读完一整本推理小说，最后一句话是“凶手就是……”，然后让它预测下一个 Token。这样一来，基本上任何智能任务，都可以用类似的形式来表述。因此，确实有人认为，下一个 Token 预测具有 AI 完备性。而我们正在逐渐意识到的一点，Ben 今天早些时候也在谈，就是 Atlas 采用的“新视角预测”，尤其是生成式的新视角预测，也可能具有这种性质。

Martin Casado：比如，你给它看一部电影前面的所有画面，接着凶手要走出来了，你让它预测，究竟是谁走出来。

Justin Johnson：对，完全正确。而且还不止如此。比如，我可以设定一个世界，让 Martin 正在后面的白板上写黎曼猜想的证明，再把相机移向下一块白板……〔编注：原转写此处因交叠发言而不完整；这一例子是在说明，预测画面也可能涉及求解画面中呈现的数学问题。〕

Fei-Fei Li：从进化的角度看，新视角预测恰恰是动物开始移动之后，进化必须解决的问题。大自然给了动物眼睛，却没有给树木眼睛，为什么？因为当你移动时，你就会看到新的视角。无论你把这叫作“AI 完备性”，还是“智能完备性”，我们都非常相信：新视角预测，是与下一个 Token 预测相对应的一种基础任务。

Martin Casado：太棒了。最后，再次祝贺各位完成这次出色的模型发布。我们非常期待你们接下来推出的新模型，也谢谢你们来到节目。

本文来自微信公众号“硅星GenAI”，作者：大模型机动组