World Labs收购机器人仿真公司SceniX,双方聚焦空间智能与具身智能发展,提出以Real-to-Sim-to-Real闭环破解机器人数据瓶颈,强调世界模型、仿真基础设施和动作驱动策略模型是技术核心,主张务实落地于半结构化场景而非盲目追求通用人形机器人。
文 | 划重点KeyPoints,作者|林易,编辑|重点君
7月22日,World Labs宣布正式收购顶级机器人仿真初创公司SceniX。两大顶尖研发团队联手,标志着具身智能的技术竞争正从“纯语言模型”全面走向“物理世界模型”。
顶级风投a16z合伙人Martin Casado第一时间与World Labs联合创始人、首席执行官李飞飞及SceniX 联合创始人李昀烛展开了一场深度对话,三人从Real-to-Sim-to-Real(从现实到仿真再回到现实)的完整训练闭环切入,系统拆解了世界模型、机器人基座模型、合成数据与评测体系等前沿议题。
李飞飞和李昀烛指出,人工智能的未来绝不能仅依赖缺乏物理约束的语言和文本理解,更要让机器具备感知、推理并与物理空间实时交互的“空间智能”。训练具身智能不仅需要一套与LLM截然不同的底层逻辑,更需要打破当前行业对纯视频预测模型和通用人形机器人的盲目崇拜。
一些核心观点:
1.空间智能是AI的下一个终局,而机器人是其物理落地的最佳载体。AI的演进终将跨越单纯的文本交互,迈向具备感知、推理与空间交互能力的世界模型。在虚拟世界创作固然重要,但在现实物理空间中采取行动,才是空间智能最核心的落地场景。
2.解锁机器人 Scaling Law 的关键,是Real-to-Sim-to-Real数据闭环。机器人领域无法像大语言模型那样直接从互联网获取海量物理数据。通过高精度数字建模与仿真,将真实环境映射到数字世界中生成无限数据,是破解数据饥荒、实现高效评估的关键。
3.纯视频模型缺乏物理与空间一致性,无法作为机器人的有效反馈信号。许多流行视频模型生成的画面缺乏空间与时间一致性,甚至会出现“物体凭空消失”的幻觉。缺少了真实的物理约束与交互反馈,机器人根本无法学习正确的策略。
4.机器人基础模型将演变为以“动作”为输出的前向模拟器与策略模型。未来的机器人基础底座将摒弃传统的文本框形式,演变为能够预测物理环境变化的前向模拟器,以及根据目标指令直接输出具体物理动作的策略模型。
5.仿真扮演着真实数据无法替代的关键角色:反事实推理与极限边界测试。现实数据固然重要,但仿真能够让机器人在数字世界中无成本地演练极端、高危或现实中极少发生的场景,在大幅提升训练速度的同时,赋予系统更高的可靠性。
6.不应盲目追逐造硬件,而应优先构建“模型与形态无关”的基础设施。具身智能生态的成功在于专业化分工。打造一套不挑底层算法、不挑硬件躯体(单臂/双臂/灵巧手)的通用仿真与评估平台,能让所有机器人大脑在其中加速进化。
7.相比通用人形机器人的执念,率先攻克半结构化场景的“脏活累活”才是理性选择。机器人落地必然遵循从工厂流水线、到仓库餐厅等半结构化场景、最终才迈入家庭的物理规律。用定制化的硬件去解决特定的实际痛点,在商业和技术上远比强行推行昂贵的人形躯体更具可行性。

以下是对话原文:
主持人:对于不太了解背景的听众,你能先简要介绍一下World Labs是做什么的吗?
李飞飞:好的。World Labs是一家成立两年的前沿模型实验室。我们正在构建AI的下一个前沿领域,也就是我们所说的空间智能(Spatial Intelligence)。空间智能是指让AI具备生成、理解、推理以及与物理或虚拟空间进行交互的能力。实现空间智能的重要途径是构建大型世界模型,这正是World Labs的核心业务。
主持人:你从一开始就提到机器感知、推理以及在空间中采取行动的能力。我过去总觉得“在空间中采取行动”是非常遥远的事情,但现在你们收购了一家机器人公司。你能谈谈这次收购的时机和初衷吗?
李飞飞:首先,在空间中采取行动或进行交互并不一定只靠机器人。例如在视觉特效、游戏或设计等创意领域,很多场景都可以在虚拟空间中创作并采取行动。World Labs的核心观点始终是,我们生活的世界可以是多维宇宙,我们创造的技术能让开发者在不同的空间里采取行动。
话虽如此,在物理空间中采取行动确实是未来AI世界中最令人兴奋且极其重要的能力之一,而机器人正是这一能力的重要载体。World Labs始终认为机器人是空间智能和世界模型极其重要的应用场景。因此,邀请Scenix团队加入World Labs是实现我们长期愿景和使命的一部分,这也是我们一直致力于达成的方向。
主持人:李昀烛,你是Scenix的联合创始人。你能为大家简单介绍一下你的背景以及Scenix是做什么的吗?
李昀烛:好的。我是李昀烛,目前是Scenix的联合创始人,同时也是哥伦比亚大学的助理教授。
李昀烛:我的研究始于麻省理工学院的博士阶段,之后在斯坦福大学跟随李飞飞做博士后研究。
主持人:世界真小。
李昀烛:确实很小。在我的学术与职业生涯中,我的目标一直很纯粹,那就是帮助机器人更好地感知物理世界并与之交互。我是一个实用主义者,我希望我做出的机器人能在真实的物理环境中运转起来。
对于Scenix而言,我们看到了通用机器人发展过程中的巨大瓶颈,尤其是在训练和评估方面。因此,我们正在开发一种名为“Real-to-Sim-to-Real”(从真实到仿真再到真实的完整技术闭环)的流水线。我们希望将真实环境精准映射到数字世界中。所谓精准映射,是指数字世界中发生的任何变化,在真实环境中也会同步发生。这样一来,我们就能通过数字世界中可扩展生成的数据,来替代在真实环境中所需的所有数据和评估。这就是Scenix的由来。我们汇聚了机器人、机器人学习、仿真和渲染领域的优秀人才,打造这套Real-to-Sim-to-Real技术栈,以此解决关键的行业瓶颈。
主持人:你们两位能重新合作真的太棒了。
李飞飞:是的,这中间还有一个有趣的故事。大家可能以为我们之前合作过,所以私下里探讨World Labs与Scenix的整合探讨了很久,但事实完全相反。他们最初是以客户身份找到World Labs的。去年冬天大概十一二月的时候,我们发布了名为Marble的生成式基础模型第一版.Scenix当时直接注册成为了我们的客户。我当时甚至不知道这个账户是谁的。我给李昀烛打去电话,惊讶地发现这是他的创业项目,随后我们意识到双方之间存在巨大的协同效应。
主持人:你能简单介绍一下Marble是什么吗?
李飞飞:Marble是World Labs一直在训练和迭代的基础模型的代号。目前公开发布的Marble核心能力,是接收包含单张图片、多张图片或文本的提示词,并将其转化为在几何上保持一致的3D世界,可以表示为高斯泼溅(Gaussian Splatting)或三维网格(Mesh)。而Scenix团队所做的,正是试图解决机器人领域极具挑战的高难度难题——缺乏数据。无论是训练数据还是评估数据都极度匮乏。这与大语言模型截然不同,后者的海量数据在互联网上随处可见。我们知道,要让机器人真正实现突破,就必须设法解锁规模定律(Scaling Law)的力量。但数据从何而来?这是每个机器人研发团队都在苦苦挣扎的深刻难题。
主持人:谈谈这种协同效应确实很有意思。你们双方都组建了极其优秀的技术团队,那么两家公司在业务上重合度有多高?这次整合更多是业务扩展吗?能否详细聊聊。
李飞飞:两家公司的业务具有极强的互补性,并且拥有共同的使命。李昀烛是三位技术联合创始人之一,另外两位创始人分别是哥伦比亚大学教授Changi Zhang,他是仿真领域的顶级技术专家,曾在维塔数码和腾讯工作过,具备视觉特效背景和创业经验;另一位是Sunonni,他是一位优秀的工程主管,此前曾在一家被亚马逊收购的初创公司工作,在亚马逊期间积累了丰富的计算机视觉技术栈经验。因此,当两家公司开始深度探讨时,我意识到Scenix在人才储备上对World Labs形成了绝佳补充:首先,他们具备从建模到硬件的全栈机器人能力。当年李昀烛在斯坦福做博士后时就已经拿到了教职,虽然我希望他能多留几年,但他得去开启真正的教职生涯,他是一位从建模到硬件的全栈机器人研究者,他和Changi在Scenix带出的学生团队,正是World Labs此前所稀缺的人才库。其次,Changi团队拥有惊人的仿真能力,他是资深的仿真领域研究员与专家,而World Labs的工作在很大程度上需要接入仿真世界。
李飞飞:至于他们所不具备的,自然是生成式模型以及计算机视觉与3D重构方面的能力,而这恰恰是World Labs的强项,也正是Scenix所需要的技术。双方组合在一起,让整个技术闭环变得更加完整。
主持人:对于将业务拓展至机器人领域,李飞飞的动机非常明确。李昀烛,站在你的角度,决定何时出售公司并加入World Labs是一个重大抉择,能否谈谈你是如何考量加入World Labs的契合度,以及为什么做出这个决定?
李昀烛:最初我们曾计划独立继续推进,但在与李飞飞深入交流后,看到双方碰撞出的巨大协同价值,两家团队合力显然是天作之合。从Scenix的角度来看,我们所做的Real-to-Sim-to-Real本质上是对环境进行重构,包括捕捉环境的外观、几何结构以及动态变化,即施加动作后环境会如何改变。目前这种张量重构的成本依然偏高,而World Labs在稀疏重构和生成能力方面拥有深厚的技术积淀。因此,我们看到了利用Marble以及World Labs其他能力来实现高效环境重构与建模的巨大机会。
主持人:那么我们可以期待World Labs推出面向机器人领域的通用基础模型吗?
李飞飞:World Labs确实正在构建基础模型。你知道的,我们一直在打造底座模型。随着技术的发展,目前最令人兴奋的底座模型是全能模型(Omni-Models),它们可以接收多模态输入,并输出多模态结果。而机器人的基础模型是什么?它极有可能会引入动作(Actions)。除了输出世界状态之外,还很有可能将动作作为输出,我们绝不排除这种可能性。
李昀烛:没错。对于机器人的基础模型而言,它本质上需要是一个多模态模型,必须同时考量视频帧、文本、图像、深度等多种模态,而动作是其中极其关键的一环。如果将当前帧和动作作为输入,它本质上就是一个前向模拟器(Forward Simulator),用来预测施加特定动作后环境会如何发生改变;当把动作作为输出时,它本质上就是一个策略模型(Policy Model),用来预测在给定特定目标时,机器人在真实环境中应该采取什么动作才能接近该目标。这种全能模型能为机器人领域带来巨大价值,既能帮助理解如何对环境建模,又能解决如何在环境中采取行动的问题。它还可以作为底座,针对特定的机器人应用进行微调,确保达到客户所期望的可靠性与效率。
主持人:如果不介意我站在非专业投资人的角度问个问题:我现在看到很多机器人公司,目前非常流行的一种做法是直接使用视频模型。这与你们采用的3D和仿真路径截然不同。你能对比一下这种纯视频模型的流行方案与你们的愿景有何不同吗?
李昀烛:为了打造能让机器人学习的世界,核心在于抓住问题的本质结构,而这类世界非常关键的一个必要条件就是一致性(Consistency)。这正是我们与Marble产生强烈协同的地方,因为我们正在构建一个在空间、时间、不同视角以及不同交互方式上都保持一致的世界。Marble生成的空间为整个世界提供了不可或缺的基础构件。设想一下,如果机器人向前推一个物体,物体却奇迹般地凭空消失了——这是很多现有视频预测模型的通病——机器人就无法获得正确的反馈信号来判断该怎么做。当然,现在行业也在深入研究并打造越来越强的视频模型。我们认为,我们构建的基础设施可以提供初始动力,形成数据飞轮:从侧重仿真的模型逐步过渡到机器人策略模型,策略模型在真实环境中执行任务并收集新数据,新数据再反馈回来。这种模型不必是纯物理驱动,也不必是纯数据驱动,而是介于两者之间,既能抓住问题的本质结构,又能随着数据的积累不断扩展和进化。
主持人:我与李飞飞密切合作过一段时间,她始终有一个驱动她前行的终极信念(North Star),并以3D等多种方式阐述过。我想知道,你是否也有类似的终极信念,还是说你更偏向于实用主义,一心只想把系统做出来并落地?
李昀烛:我的终极目标就是让机器人真正干活,在真实环境中稳定运转。我是一个非常务实的人。在我做博士后与李飞飞合作期间,我们曾构建过一个基准测试,向大众发放问卷,询问他们最希望机器人帮自己做什么。在收集到的上千个任务中,有三分之一都与清洁有关。人们只是单纯不喜欢做那些脏活累活,而这些正是我们希望用机器人解决方案去攻克的场景。
李飞飞:我非常欣赏Scenix的一点,现在确实有很多机器人公司在做模型,但李昀烛和他的联合创始人对待机器人的态度极其务实。尽管李昀烛和Changi来自学术界,但他们的第一直觉就是与真实产业中的设计伙伴和客户紧密合作,无论是工业实验室、仓库,还是电子元器件装配线。这种切入机器人的方式非常令人耳目一新,这也让我对与他们的合作感到无比兴奋。
主持人:在我看来,机器人技术必须非常精准,虽不必完美,但必须足够接近;而World Labs此前涉及的大量创意类应用场景,对精准度的要求似乎没那么高,有时甚至偏差或失真还能算作艺术风格。从技术角度来看,将这两者结合起来的难点是什么?还是说它们永远是设计空间里两个无法融合的方向?
李昀烛:长远来看它们终究会融合。对环境的建模并不需要做到绝对完美,机器人领域的模型也是如此。
主持人:顺便问一句,有没有更规范的说法来解释“不需要完美,但要足够接近”是什么意思?
李昀烛:举例来说,在各种机器人应用的发展历程中,模型始终是一块极其重要的基石。看一看现有的机器人应用,比如飞机、无人机、扫地机器人,甚至是四足或双足机器人,模型一直是它们成功运转并实现从仿真迁移到真实环境的关键桥梁。像四足或双足这类足式机器人,它们可以在雪地或灌木丛中行走,但你不需要一个能极其精确地模拟出每一株灌木和每一片雪地的模拟器。你需要的是能够抓取问题本质结构、并在数字环境中进行各种随机化测试的仿真系统,这正是我们努力的目标。因此,Scenix与World Labs正在探索到底需要何种程度的忠实度(Fidelity)来对机器人之外的庞大物理世界进行建模,从而将数字仿真世界中训练出的机器人系统顺利迁移回真实场景。
主持人:有其他研究人员(比如Sergey Levine)提到过,仿真终究会偏离物理世界,因此真实世界的数据采集是不可或缺的。你能谈谈将仿真作为基石的这种方案可行性如何?
李昀烛:这两者并不冲突。仿真本质上是在预测施加动作后环境会发生怎样的变化,它本身就是一种世界模型。它不必是纯粹的物理仿真,可以是物理规律与数据学习的结合。我们一直在采集真实世界的数据,也会使用这些数据,只是在数据飞轮的不同阶段侧重点不同。在最开始,我们可能更侧重物理规律,以确保具备正确的一致性与结构,从而去学习世界并训练机器人策略;随着通过数据采集以及客户合作积累了越来越多数据,模型会逐步向数据驱动的方向演进。这种过渡与数据流动,能够将物理、几何与一致性的优势,与数据和算力的强大魔力完美结合在一起。
李飞飞:我想补充一点哲学层面的思考:在“使用仿真”与“不用仿真”之间并不是非黑即白的单选题,它们是共同协作来实现机器人运转的。思考一下人类的智慧,我们的大脑时刻都在进行大量的模拟。为什么?因为仿真扮演着真实数据无法替代的关键角色——反事实推理(Counterfactual Reasoning)。你可以在脑海中演练那些尚未发生、不可能发生、或者在现实中没有足够数据去实现的事情,并在演练的过程中学会如何应对。人类一直在这样做。比如你刚刚去看了世界杯,我相信在每场比赛中都会有战况的模拟。
无论是数字模拟还是在白板上演练,比赛筹备中的仿真本质上都是在做反事实推理。这对机器人技术至关重要,因为我们在现实世界中根本不可能拥有足够的实际数据。现实中就有现成的例子,比如自动驾驶领域的Waymo,官方曾明确表示他们使用了数十亿小时的仿真数据。实际上Waymo对仿真的依赖程度甚至超过了对真实数据的依赖。这些都是活生生的例子,而且你知道的,汽车其实是最简单的一种机器人。仿真显然在机器人的学习过程中扮演着举足轻重的角色。
李昀烛:我还想补充一点。具体来说,仿真能带来两个层面的核心价值:第一是可靠性,第二个是效率。在可靠性方面,要让机器人系统在真实环境中稳定可靠地运行,你需要数据对机器人可能遇到的所有状态空间和变量进行系统化覆盖,这样才能训练出鲁棒性(Robustness)。通过仿真,你可以对光照、摩擦力、几何形状、物体类型以及各种物理参数进行系统化的随机控制(Systematic Randomization),确保对状态空间实现充分覆盖,这就赋予了机器人系统极高的可靠性。
第二个层面是效率。目前很多人采用遥操作来采集数据,但那些遥操作设备,比如穿戴的外骨骼,采集数据的速度其实比人类亲自做动作还要慢。但对我们的很多客户来说,达到人类的速度还远远不够,他们需要超越人类的速度。要让机器人动作更快,绝非简单地给电机加压提高转速那么简单,因为重力等物理条件并没有改变。但在仿真环境中,你可以对机器人的行为进行系统化加速训练,使其能够考量环境的所有动态变化。这就是仿真能为客户带来的效率提升。无论是在可靠性还是在效率方面,仿真都具备极其独特的价值。
主持人:你们刚才介绍了技术和平台的能力,能具体谈谈目前具体的应用场景有哪些吗?
李昀烛:主要有两个核心应用场景,分别围绕评估(Evals)与训练(Training)展开。首先是评估。评估是机器人领域常常被忽视的一环。但如果你在调优机器人模型,就必须明确知道模型的表现究竟如何,这是进行技术迭代唯一的依据。
主持人:是的。顺便提一句,从事AI的人都很清楚评估的含义并且每天都在用,但非AI从业者对这个词的理解往往大不相同。所以或许值得具体解释一下你所说的评估究竟指什么。
李昀烛:好的。我所说的评估,是指准确掌握某个特定的模型检查点(Checkpoint)表现到底怎么样,比如成功率是95%还是99.9%。工业界核心关注的指标是耗时:你需要花多少实际工作时间,才能区分出一个成功率90%的模型和一个成功率92%的模型?如果完全在真实环境中去做这种对比区分,耗时会极其漫长。目前在现实场景中做机器人评估,其迭代速度比大语言模型慢了数个数量级。这不仅是因为机器人的任务非常多样繁杂。
主持人:对,因为机器人必须在物理世界里做出实际动作,原子需要在空间中发生移动。
李昀烛:一点没错,而且必须遵循物理规律。
李飞飞:你看过那些机器人的视频吗?每个视频几乎都开了8倍速或10倍速,因为现实中运行得太慢了。
李昀烛:正是如此。现实测试不仅漫长,而且危险且昂贵,迭代速度要慢上几个数量级。因此,我们的很多客户需要一个数字环境来评估他们的机器人系统。由于我们的数字环境被验证与真实世界保持高度一致,这意味着在仿真中发生的事情在现实中也极有可能会发生。如果某个模型检查点在仿真中表现更好,它在现实环境中大概率也会表现更好,我们在博客文章中也讨论过这一点。这让客户能够极具信心利用数字环境提供的信号,去开展可扩展、安全且高效得多的评估。
这是评估方面的应用,接下来是训练层面。在训练方面,正如我之前提到的,关键在于可控性。你希望精准掌控状态、参数、光照、摩擦力、物理参数乃至物体的几何形态和种类等所有可能的变化,确保覆盖各种复杂场景,从而生成信息量丰富的数据,提升机器人的鲁棒性。如果仅在现实环境中操作,这会极其困难。采用遥操作采集数据的速度很慢,而且会受限于机器人的数量和遥操作设备的数量,整个数据运维面临着诸多挑战。但在仿真环境中,一切皆可控、皆可系统化配置,你可以明确清楚地掌控自己覆盖了哪些数据分布,从而建立起机器人能在该分布下稳定工作的信心。这种信心、效率与可扩展性,正是客户选择使用我们的数字世界来训练机器人系统的价值所在。
李飞飞:极具戏剧性的是,甚至在Scenix和我深入探讨合作之前,Marble的各类意向客户就已经提出了这类需求,只是当时我们尚无精力去服务他们。那时我们接到了很多早期机器人公司的电话,从开发底层模型的团队到专注于下游务实场景的团队都有,我们真切看到了这种强烈的市场需求。
主持人:当大家听说你们要涉足机器人领域时,大脑里的第一反应可能是你们要拿出3D打印机开始搞硬件、编写机器人大脑并装进躯体里,最终打造出一台实体机器人。但我认为这并不是你们要做的。能否谈谈你们的技术处于机器人研发生命周期的哪个环节?你们的业务边界在哪里,生态系统的其他环节又从哪里开始接棒?
李昀烛:你可以把我们正在构建的东西想象成一套基础设施以及配套软件,人们可以用它来构建数字世界,进而让机器人在其中学习与评估。这套基础设施天然具备模型无关性(Model-Agnostic)和形态无关性(Embodiment-Agnostic)。
主持人:我希望把这一点彻底强调清楚。虽然对你来说这理所当然,但对很多人来说这是个非常微妙的区别:从你的描述来看,你们做的并不是造机器人,而是构建一个环境,让其他公司可以将他们的机器人大脑放进去导航和学习。
李昀烛:一点没错。目前我们的客户拥有各式各样的机器人,有的使用单机械臂,有的使用双臂,有的使用固定式机械臂,有的使用移动复合机器人;末端执行器也是五花八门,有简单的夹爪,也有结构复杂的灵巧手。我们的平台在设计上天然兼容各种形态,可以极其轻松地集成不同的机器人躯体,将其置入我们生成的数字世界中,赋予这些机器人以极高的可靠性和效率在现实环境中完成特定任务的能力。
同时,我们的平台也是模型无关的。我们可以直接利用数字世界生成的数据来训练不同的模型,既可以从零开始训练,也可以对现有的视觉-语言-动作模型(VLA)或世界-动作模型(WAM)等基础模型进行后训练。对我们而言,模型的具体架构并不重要,我们核心要确保的是提供完备的基础设施和数字世界,让机器人在现实环境中能够稳定可靠地运转。
主持人:你之前曾提到过,目前市场对人形机器人的预测过于激进,短期内更有可能在仓库等受限场景中看到落地应用。你能详细聊聊这一点,以及它将如何影响World Labs接下来的业务布局吗?
李昀烛:如果纵观机器人应用在现实环境中的推进历程,它始终遵循着从完全结构化环境逐步过渡到半结构化环境,最终迈向非结构化环境的规律。所谓完全结构化环境,是指你对环境中的所有配置都拥有完全的掌控与了解。比如工厂或者汽车制造流水线,这些场景早在几十年前就已经实现了高度自动化。
其次是半结构化环境,你对环境具备一定程度的控制力,比如亚马逊的自动化仓库,或者餐厅、酒店等。你在这些场景中进行适当干预控制,从而降低机器人的执行难度,但环境中依然存在大量无法完全控制的物体,比如形状不固定的衣物等。最后是非结构化环境,比如你家和我家。非结构化环境可以说是终极挑战。
主持人:尤其是我的家里,信我,里面有三只狗和一个五岁的孩子。
李飞飞:对,还有狗。
李昀烛:一点没错。鲁棒性源于对机器人可能遇到的所有场景的充分覆盖。因此,在迈向完全非结构化环境之前,现阶段先专注于半结构化环境要容易得多,也更具可行性。我们最终会朝着非结构化环境迈进,只是希望采取一种更具可持续性、更务实的方式。
李飞飞:我认为你的核心观点是,人形机器人模仿的是人类身体,而演化将人体优化成了适应非结构化环境的形态。因此,我们的手指和双腿并不是专门为了做某单一任务而生的最佳工具。比如,如果我们这个物种唯一的生存目标就是爬树,我们就不一定会演化成现在的身体结构,可能会长出截然不同的手指。但人类最终演化出的这种体态极其通用,却未必在每件事上都是最优解,而这正是为了在非结构化环境中生存。但从商业和务实的技术视角来看,非结构化环境与通用躯体反而是最难攻克的难题,甚至未必是解决问题的正确途径。更合理的做法是专业化分工,采用更定制化的躯体去解决范围更窄的特定问题。但Scenix面临的挑战在于,其基础设施需要具备形态无关性,从而能够服务不同的机器人躯体和不同的半结构化环境。
主持人:看这个问题通常有一个经济学视角,比如拿LLM(大语言模型)来对比,生成式LLM生成文本或代码的速度比人类快一万倍,成本也低得多。这在经济学上完全成立,因为我们的大脑在这类任务上的效率并不算高。然而,我们的大脑和身体在3D导航、在物理世界里移动或拾取物品时却效率极高。这是一个预测性问题:你认为在可预见的未来,我们有可能制造出在日常繁重体力劳动(比如最低工资标准的岗位)上达到人类能效水平的机器人吗?这需要5年,还是几乎不可能?
李昀烛:我认为这需要很长的时间。在现实环境中运行的机器人本质上是一个复杂的系统工程,必须非常周密地考量各个模块如何协同运作,涵盖硬件、软件、算法大脑,甚至细化到手指摩擦系数等细节。要将这一切变为现实需要考虑太多因素,并且需要不断的迭代。但让我感到兴奋的是,我一直处于机器人学习的前沿,并不断推动技术的进步。如今技术演进的速度总是超出我的预期,我现在研究和探索的课题与我刚开始读博时已经完全不同。这说明整个生态系统的演化速度非常快,各个模块正逐步汇聚在一起去构建真正的机器人系统。但同时我们也必须保持理性的预测,虽然我们会看到巨大的进步,但要达到人类水平的效率与能力,仍需要相当长的时间。
李飞飞:在当下的AI领域,最难的就是保持恰到好处的理性乐观。即便是大语言模型也没能达到人类大脑的能效,人类大脑运转只需要30瓦的功率。所以我们离那个目标还差得很远。
主持人:不过在特定狭窄任务(如代码编写或图像生成)上,性能与功耗的比值可能已经比较接近了,但在机器人领域还相去甚远。这是否改变了你们团队在战略规划上的远大抱负?是改变了发展轨迹,还是依然符合你们创业最初的预期?
李昀烛:这在很大程度上改变了我们的技术演进轨迹。尤其是在与World Labs合作后,我们看到了在环境建模全流程中实现更高效率、更大规模扩展的巨大潜力。我还想补充一点,以LLM目前的现状为例,虽然它们展现出了惊人的能力,但你依然不会盲目信任它去帮你预订机票或酒店,你依然希望有专人去审核语言模型的输出结果。
此外,机器人模型与大语言模型有着本质不同——因为机器人模型一旦部署,就必须在现实环境中做到开箱即用、稳定可靠。而我们目前甚至缺乏足够的数据和相应的基础设施来让机器人实现开箱即用的可靠性。正因如此,构建可扩展的数字世界,让机器人在其中学习与评估,将释放出巨大的潜能,从而用数字世界生成的数据替代现实环境中昂贵且不安全的采集过程,实现大规模的学习与评估。
主持人:我见过很多类似的并购重组,在双方理念高度一致的阶段通常运转得非常好。但大家普遍关心的是,你们是选择立即将两套体系全面打通,还是保持相对独立,制定一个在未来一年内逐步实现的长期规划?李飞飞,你是怎么考量的?是立即深度整合,还是作为一个独立的长期项目推进?
李飞飞:这是一个非常有深度的问题。我们与Changi、Sunonni、Justin、Ben等团队成员深入讨论过,目前的策略是深思熟虑、循序渐进,不会急于在代码库或团队组织上进行全面合并。因为Scenix拥有非常成熟且相对完整的技术栈、客户群以及产品形态。我们会给整合留出充足的时间。当然,在仿真侧以及基于动作条件的基础模型研发侧,我们已经开始深度交流,况且他们此前本身就是Marble的内部客户。因此整合一定会发生,但我们不会急于像做沙拉一样把团队一股脑混在一起。
主持人:在地理位置和办公室布局上你们是怎么规划的?Scenix团队会搬迁吗?
李飞飞:李昀烛会搬过来。World Labs正式成为了一家跨东西海岸的公司,总部设在旧金山。我住在帕洛阿托(Palo Alto),感觉就像在另一个州一样。令人兴奋的是,我们将在纽约设立办公室,这有助于我们吸引东海岸的顶尖人才。此外,我们规划在两地办公室都配置机器人设备,以便测试和完善工程技术栈,实现远程操作和调试机器人,这也是我们服务客户所必须具备的能力。
主持人:我们来展望一个具体的场景:两年后最理想的成功状态是什么样的?届时推出了什么产品?客户是谁?他们如何使用?
李飞飞:如果我们能与Scenix团队一道,在几个重要的垂直应用场景中验证标杆客户,证明我们的系统和基础设施能切实解决他们的自动化需求,并且这些客户成为我们扩大业务规模的灯塔案例,我们就会感到非常满意。
主持人:对于正在听这场对话的机器人创业公司而言,应该在什么阶段联系World Labs?是在早期,还是在研发中期?
李昀烛:对于目前的客户而言,因为我们打造的是Real-to-Sim-to-Real流水线,仿真本质上是我们提供的训练与评估数字场地。有些客户仅需要Real-to-Sim部分,希望将他们关心的任务数字化,并在其中评估机器人系统;有些客户则需要整条流水线,以便将训练出的策略部署到硬件设备上。因此我们的平台设计非常灵活,可以根据客户的需求定制。同时,我们合作的客户大多已接近部署阶段,专注于非常实际的应用场景,一旦机器人解决方案落地就能立即创造价值,且这类场景具备数十乃至上百个可复制的自动化需求。我们将与World Labs一道,为这些场景开发可靠的解决方案。我们在博客文章中已经展示了多个落地场景,后续将进一步探索如何解决现实部署中所面临的关键需求与限制。
主持人:对于机器人公司而言,现在联系World Labs会太早或太晚吗?
李飞飞:完全不会,我们随时准备开展业务合作。欢迎所有人联系我们,非常期待了解大家的具体应用场景。