斯坦福团队提出：机器人不需要见过所有的失败，它只需要学会如何 " 脑补 " 另一种可能。

    作者丨岑峰

在 AGI 的数字版图里，大语言模型仅靠 " 读遍互联网文本 " 就拼凑出了通往智能的通途。这种由 Scaling Law 带来的暴力美学，让整个具身智能行业在过去两年里陷入了一种盲目的 " 数据崇拜 "：人们坚信，只要像训练大模型一样，喂下数以百万小时的视频，机械臂就能在物理世界中无所不能。

而在 2026 年的悉尼 RSS 大会，AI 科技评论注意到，越来越多的研究者开始讨论，物理世界的数据获取具有时间和空间的 " 不可逆性 " ——文本可以被瞬间复制亿万次，但机械臂抓取一次杯子，在物理时空中就必须实打实地消耗数秒。更致命的是长尾效应：摩擦、形变、流体……人类根本不可能通过穷举法，去收集齐机器人面临的所有场景。

来自斯坦福大学李飞飞实验室的  黄文龙（Wenlong Huang），在 "Data-Centric Robotics" 主题 Workshop 的演讲中给出了一个 " 降维打击 " 式的解法：抛弃对海量 " 演示数据 " 的死记硬背，转向 " 反事实推理 " 与 " 脑内搜索 "。

作为近年具身智能领域的明星学者，黄文龙的名字此前因  VoxPoser  和  ReKep  两篇里程碑式的论文而广为人知。在这两项研究中，他利用大模型作为空间规划器，将人类的抽象指令转化为三维空间中的 " 关键点约束 " 和 " 价值场 "，首次让机器人无需任何行为演示，就能直接根据几何常识完成复杂的操作。

而在此次 RSS 2026 的分享中，黄文龙更进一步，首次将这一哲学推向了 "3D 世界模型 " 的终极形态—— Point-World。

这场演讲的重大现实意义在于，它用严密的逻辑和前沿实验，揭示了具身智能下半场的进化范式： Point-World 的诞生，意味着机器人终于拥有了一个可以 " 零样本预测未来物理演变 " 的数字孪生大脑。机器人可以在真正动手前，在脑海中虚拟尝试成千上万种 " 如果我这么做，会发生什么 " 的反事实可能性，从而在没有人类演示过的情况下，自主创造出诸如 " 把袜子由内而外翻过来 " 的独创性行为。

同时，黄文龙还展示了仅需 15 小时的 3D 交互数据配合 2D 预训练，就能撬动世界模型的惊人扩展能力。这为具身智能走向 " 递归自我改进（Recursive Self-improvement）" ——即机器人一生的持续自主学习——推开了最后的大门。英伟达 Cosmos 3 正在试图用全模态定义具身生态的 " 安卓系统 "，而黄文龙与斯坦福团队则在底层逻辑上，为全球开发者提供了一套突破算力和数据封锁的 " 终极进化算法 "。

以下是黄文龙的演讲分享，AI 科技评论根据其英文演讲内容进行了不改原意的编辑：

01

通过反事实推断

实现机器人数据的跨越式扩展

演讲者： 斯坦福大学 黄文龙（导师：李飞飞）

▎一、 动机：从 " 演示学习 " 到 " 自主探索 "

大家好非常荣幸与各位讨论机器人数据扩展的新视角。本次 Workshop 的主题是 " 以数据为中心的机器人学（Data-Centric Robotics）"，而我今天想分享的核心主题是：我们或许可以通过 " 反事实推断（Counterfactuals）" 来有效扩展机器人的能力边界。

过去几年，我们在实现 " 开放世界机器人 " 的征程中取得了显著进展。从算法层面看，我们拥有了表现力更强的架构，如扩散策略（Diffusion Policies）、基于 VLM 的架构，以及近期涌现的世界模型；从硬件层面看，低成本硬件的普及让研究门槛大幅降低。

目前行业已达成一个共识：只要我们能演示出来的行为，策略就能学会。

但我这里有一段非常有启发性的视频：这是一个由 Physical Intelligence 展示的任务——将一只袜子由内而外翻转。这并不是由复杂的多指灵巧手完成的，而只是一个普通的平行夹爪。机器人将一只夹爪伸进袜子内部，配合另一个夹爪完成捏拉动作。

这个任务非常酷，但也揭示了一个深刻的问题：这种动作很难用语言或代码来精确描述，必须看视频才能理解。更重要的是，作为人类，我可能从未在训练数据中见过这种 " 翻袜子 " 的技巧，但我拥有 " 独创性（Ingenuity）"，能在面对新问题时即兴创造解法。

这种自主获取新行为的能力，是目前机器人所缺失的。如果机器人仅依赖互联网规模的数据或自身的历史数据，它可能永远无法跨越某些能力的鸿沟。

▎二、 反事实推断与搜索的价值

要复制人类的这种独创性，关键在于反事实思维。

所谓反事实，是指在拥有一条标准任务轨迹的前提下，模型有能力去评估：" 如果我采取了一组完全不同的动作，结果会怎样？"

回顾人工智能史上的重大突破，这种能力始终是核心驱动力。以 AlphaGo 为例，著名的 " 第 37 手 " 是人类围棋史上从未出现过的走法，但 AI 通过搜索和推演，判断出这是当下的最优解。在当年的 AlphaGo 论文中有一组令人震惊的数据：如果移除测试时的搜索过程，模型需要增加 10 万倍的数据量才能维持同等的性能。

如果说机器人学比围棋和编程更难，那么我们就有理由相信，这种 " 反事实推理 " 和 " 搜索 " 的能力是不可或缺的。

▎三、 为什么是 3D 几何空间？

如果我们需要这种能力，那么应该在什么维度上进行反事实推理？

1. 语言与代码空间：  这在 2021 年我们曾尝试过。通过大语言模型分解任务步骤。虽然逻辑上可行，但在涉及底层物理交互（如翻袜子）时，语言模型完全无法描述物理细节。

2. 动作空间：  机器人形态各异，夹爪长度、指尖材质、甚至机械臂数量都不同，很难建立一个统一且通用的低级动作空间来思考 " 万一 "。

我认为，推理的最佳空间是基于机器人几何结构的 3D 空间。

这就是我们最近的工作：Point World。其核心理念是：给定 RGB-D 输入和机器人的描述文件（URDF），我们将机器人的动作空间统一定义为  "3D 点云流（3D Point Flows）"。

通过从机器人的每个连杆上采样点，计算正运动学，我们将场景观测和机器人动作全部统一在 3D 点云流中。我们训练了一个基于 Transformer 的模型，它本质上是一个 " 零样本（Zero-shot）真实世界模拟器 "。

模型不仅能模拟刚体，还能处理流体、布料等可变形物体，且无需物体分割。它能隐式地识别冰箱的运动关节结构，并在物体被遮挡（如第一人称视角看盒子背面）时，根据物理常识推断接触几何关系。

▎四、 弥补 3D 数据的匮乏

大家通常认为 3D 数据是稀缺的。为此，我们利用先进的视觉几何模型，对大规模交互数据（Joy 数据集）进行了重标注，生成了具有仿真级精度深度信息和相机位姿的 3D 点云，总计约 3500 小时。

有了这些数据，我们可以通过增加模型参数、优化训练目标，大幅提升世界模型的保真度。

更令人兴奋的是后续的一项未发表工作：我们发现，利用 2D 视频数据进行预训练，再辅以仅  15 小时  的 3D 交互数据进行微调，就能获得比之前 500 小时训练更好的环境动力学预测能力。这个模型在完全没见过的环境、没见过的机械臂上，依然能保持极高的物理保真度。

▎五、 总结与展望

在这个算力和数据扩展的时代，我们的关注点通常集中在 " 获取更多数据以实现更好的零样本泛化 "。

但我认为这并非全貌。真正的学习应该伴随机器人的一生。  机器人必须具备一种自主获取新行为的能力，并将这些新行为编译进现有的模型中。

总结通往人类水平物理交互的路径：

1. 前提条件：  获得关于行为和动力学的通用先验（世界模型）。

2. 关键步骤：  将这些先验在物理世界中落地，并通过反事实推断和搜索，不断探索、获取新的行为。

这或许就是具身智能领域一直在追求的 " 递归自我改进（Recursive Self-improvement）"。

谢谢大家。

一个人读论文太孤单，一群人刷顶会才好玩。

RSS 2026  召开在即，我们正在召集一波含金量极高的 AI 研究者。群内主打实时论文跟踪与硬核技术探讨，拒绝灌水。

? 进群传送门：  扫码进群或添加微信 Luyoyo_2026，备注：论文群 + 关注的 AI 方向。

搞科研 / 搞技术，信息差很重要。

来，一起快人一步！

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲 PPT

大会报告全文

热门论文解读

学术新星访谈

扫描上方二维码

或点击「阅读原文」关注雷峰网 ( 公众号：雷峰网 ) 专区。

雷峰网原创文章，未经授权禁止转载。详情见转载须知。