从 " 像素导演 " 转向 " 具身大脑 "：RSS 2026" 机器人世界模型 " 专题现场见证，想象力正在终结具身智能的 " 数据暴政 "。

    编辑丨岑峰

2026 年 7 月的悉尼，RSS 会场内，一种复杂的情绪正在蔓延：一半是火焰，一半是海水。

火焰来自于大模型在云端的持续狂飙，海水则来自于具身智能在现实落地中的 " 物理阵痛 "。

在此之前，全球 AI 行业笃信一套名为 " 暴力美学 " 的成功公式：巨大的参数量 + 几乎无穷的互联网数据 = 涌现的智能。  这一公式在处理文本、图像甚至是视频生成时无往不利。但当人们试图将这套逻辑直接 " 平移 " 到机器人身上，让 AGI 进入物理世界时，那道无形却坚硬的 " 物理之墙 " 出现了。

在云端，数据可以被无限次复制和合成；但在物理世界，每一次机械臂的抓取、每一次足式机器人的迈步，都受限于时间的线性和物理空间的约束。

当 " 暴力美学 " 撞上 " 物理硬墙 "，那个在数字世界里几乎无所不能的 Scaling Law，在试图拧开一个生锈的螺丝钉或在杂乱的厨房里寻找一只空气炸锅时，表现出了令人沮丧的笨拙。

AI 行业最核心的矛盾已经转移：我们需要机器人像人类一样，拥有在行动前进行 " 想象 " 的能力。

在 RSS 2026 的 "Robot World Models" 主题 Workshop 上，这种共识达到了顶峰。世界模型不再被视为一个 " 视频生成器 "，而是被定义为机器人的 " 逻辑中枢 " 和 " 虚拟沙盒 "。如果说一年前的讨论还停留在生成视频有多逼真，那么今天的议题只有一个：世界模型如何让机器人摆脱死记硬背，学会举一反三？

这一 Workshop 上半场的几场演讲，本质上是具身智能领域的一次集体转身：从 Pi 团队对零样本泛化的探索，到 OpenDrive Lab 对组合式逻辑的坚守，再到英伟达对全模态底座的重构，它们共同指向了同一个趋势：单纯依靠 " 喂数据 " 来模拟动作的路径已经面临边际效应递减。

换言之，我们不再需要一个只会 " 背诵 " 动作轨迹的机器人，我们需要一个像人类一样，在行动之前拥有 " 想象力 " 的智能体。

这种想象力，在学术语境下被称为 " 世界模型（World Model）"。它代表了具身智能从 " 被动反应 " 向 " 主动预测 " 的代际跨越。机器人必须在脑海中先运行一个高保真的物理沙盒：如果我伸出这只手，这个杯子会碎吗？如果我推开这扇门，后面的空间会坍塌吗？

只有当机器人学会在行动前进行 " 视觉推演 " 和 " 因果校准 "，智能才不再是飘在空中的 Token 组合，而是真正扎根于大地的物理生存能力。

2026 年，具身智能正式告别 " 大力砖飞 " 的草莽时代，转向以 " 想象力 " 为核心驱动的精密演进。以下便是来自 RSS 2026 现场，关于这场 " 思维变轨 " 的 Workshop 的上半场实录：

01

从 " 视频生成 " 到 " 动作引擎 "

Pi 团队的核心成员 Laura Smith 在开场演讲中，用一个极其生活化的例子，捅破了具身智能泛化的窗户纸。

" 世界模型不是用来拍电影的，它是用来提供‘目标图像（Goal Image）’的。"  Laura 强调。

在 Pi 展示的实验中，一台从未学习过 " 操作空气炸锅 " 的机器人，在没有任何遥操作数据（Teleop Data）的前提下，仅凭看了一段人类炸红薯的视频，就成功完成了任务。

这背后的逻辑在于：机器人不需要在现实中练习一万次炸红薯，它通过世界模型 " 脑补 " 出了炸红薯完成后的视觉终态。世界模型将人类视频中的常识（如何拉开抽屉、如何放入物体）与机器人已有的基础技能（抓取、平移）进行了 " 逻辑插值 "。

此外通过跨身体迁移（Cross-embodiment），Pi 团队展示了如何将 folding（叠衣服）的技能从一款机器人迁移到完全不同形态的 UR5 机械臂上。只要世界模型能给出 " 衣服被折叠后的样子 "，不同身体的机器人就能调动自己的执行器去 " 对齐 " 这个目标。

Laura 最后给出了结论：视觉推理（Visual Reasoning）正在给机器人提供一种不依赖具体动作标签的学习方式。" 想象力 " 成为了跨越长尾任务、降低数据依赖的终极武器。

02

组合式 vs 一体化：

不要让模型变成不可控的 " 黑盒 "

如果说 Laura 的演讲激发了对世界模型的想象力，在接下来的第二个演讲，来自 OpenDrive Lab 的研究者陈立则给出了一个更务实、更具工程美感的解法：组合式世界模型（Compositional World Models）。

陈立指出，当前全像素生成的路径存在一个隐形瓶颈：模型很难同时兼顾 " 生成质量 " 和 " 评估准确性 "。

" 预测（它会发生什么）和评估（这对我是否有用）必须解耦。"  陈立认为。在他的 RISE 框架中，世界模型被拆分为动力学组件和价值组件。动力学组件负责 " 想象未来 "，而价值组件负责判断这些未来是否安全、是否符合任务目标。

这种解耦带来的直接红利是安全性与数据效率。在真实世界中，你无法为了训练避障而去撞 100 次车，但在组合式模型中，机器人可以在虚拟空间里大量模拟 " 失败路径 "，通过这些 " 负样本 " 学会敬畏物理法则。

这种思路为资源受限的初创公司提供了一条新路：不需要训练全能的 " 上帝模型 "，只需让专业的模块在各自的轨道上发挥极致效率，就能跑通具身闭环。

03

英伟达 Cosmos 3 深度拆解：

它想做具身智能时代的 " 安卓系统 "

在接下来的第三个演讲中，英伟达物理 AI 专家 Max Li 深度拆解了全能世界模型 Cosmos 3，将 Workshop 带入了一个小高潮。这不仅是一款技术新品的发布，更是英伟达试图在具身智能时代，做生态 " 安卓系统 " 的宣言。

面对物理世界时空与长尾数据的约束，英伟达打破了过去具身智能靠视觉、语言和控制算法强行拼接的 " 组装机 " 模式。Cosmos 3 是全球首个在统一 Transformer（MoE）架构下，彻底打通文本、视觉、音频和动作的全模态世界基础模型。它通过定义一套通用的 " 大脑与肢体 " 协议，将汽车、单双臂、人形机器人等碎片化的动作矢量语义彻底统一，展现出以标准化底层底座垄断全球机器人进化的绝对野心。

在核心技术上，Cosmos 3 依托 " 推理器 " 与 " 生成器 " 的协同，实现了逆动力学反推与状态转移机制的深度结合，让状态理解自然转化为行动策略。更具颠覆性的是，英伟达正加速将 AGI 的大脑向边缘迁徙，推出可在 Jetson 等端侧设备实时推理的 Cosmos Edge（4B）模型，与服务器级的 Super（64B）和 Nano（16B）纵向呼应，终结了机器人背着服务器跑的时代。

目前，Cosmos 3 的全套模型、代码及论文已全盘开源。英伟达正通过 " 开源底层生态 " 这一典型的安卓式路径，吸引全球开发者涌入其构筑的逻辑底座。从算力垄断走向生态主宰，英伟达正在用 Cosmos 3 提前锁定了物理 AI 时代的权力主导权。

04

仿真即现实：Sim-to-Real 的 " 消失 "

在当天的 Spotlight 环节，几项硬核技术展示了 2026 年机器人底层基建的飞跃。

其中最亮眼的当属 Interactive World Simulator：它支持超过 10 分钟的稳定视频预测（15 FPS），这意味着机器人可以在一个完全虚拟但物理一致的 " 世界 " 里活上很久。研究者展示了在 0 真实数据 训练下，机器人如何直接在现实环境中稳健地进行绳索理顺和杯子抓取。

此外，针对人形机器人的触觉难题，有研究提出了用 " 声学传感（麦克风）" 替代视觉做顺应性控制。通过几毛钱的微型扬声器和麦克风，利用声音在空腔中的反射来感知碰撞和压力，这种 " 形态学计算 " 的奇思妙想，让昂贵且脆弱的视触觉传感器显得不再是唯一的救命稻草。

05

具身智能的 " 成年礼 "

RSS 2026 的这一场 "Robot World Models" 主题 Workshop 的上半场，向我们展示了一个充满冲突、正在发生剧变的行业。

机器人正在从 " 死记硬背 " 动作的机器，进化为拥有 " 预判与想象 " 能力的智能体。世界模型不再是实验室里的视频 Demo，它正变成机器人的大脑皮层；

当机器人开始学会 " 举一反三 "，当英伟达把大脑塞进边缘设备，当仿真与现实的边界彻底模糊，具身智能才算真正跨过了那个名为 " 通用性 " 的门槛。

想象力，正式成为了具身智能的第一生产力。2026 年也注定成为机器人从 " 死记硬背 " 转向 " 举一反三 " 的转折点：世界模型不仅是身体的底座，更是智能涌现的沙盒。

一个人读论文太孤单，一群人刷顶会才好玩。

RSS 2026  召开在即，我们正在召集一波含金量极高的 AI 研究者。群内主打实时论文跟踪与硬核技术探讨，拒绝灌水。

? 进群传送门：  扫码进群或添加微信 Luyoyo_2026，备注：论文群 + 关注的 AI 方向。

搞科研 / 搞技术，信息差很重要。

来，一起快人一步！

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲 PPT

大会报告全文

热门论文解读

学术新星访谈

扫描上方二维码

或点击「阅读原文」关注雷峰网 ( 公众号：雷峰网 ) 专区。

雷峰网原创文章，未经授权禁止转载。详情见转载须知。