往机器人身上装一台相机，自己戴上手套做动作，让机器人跟着动——这就是当前做机器人训练数据的方式：物理遥操作。

每一条数据，都得靠真人操作员、真实机器人、真实时间，一条一条 " 演示 " 出来。

慢。贵。累。

能否将操作员从真机中解放出来，使数据采集的边界取决于人的创造力，而非硬件的可用性？

阿里巴巴达摩院的最新工作RynnWorld-Teleop对此给出的方案是：用生成式世界模型替代真实机器人。

操作员的手势驱动一个实时视频生成器，由 " 数字世界中的机器人 " 完成全部视觉演示，同时自动获得关节级的动作标签。该方案被称为数字遥操作（Digital Teleoperation）。

在双臂灵巧手上的真机实验表明，仅用 RynnWorld-Teleop 生成的数据训练策略，就能在真机上实现有效的零样本 Sim2Real 迁移；把合成数据叠加到真实数据上，还能稳定提升成功率。代码、模型权重均已开源。

数字遥操作：以世界模型替代真实机器人

△物理遥操作（上）与数字遥操作（下）的对比。数字遥操作用 RynnWorld-Teleop 替换真实机器人，两条流水线都产出同步的（视觉观测，机器人动作）对。

数字遥操作与传统遥操作的本质区别，可以从数据链路上加以厘清。

传统物理遥操作的流程为：操作员通过遥操设备做出动作示范，真机实时跟随执行并同步录制关节状态，机载摄像头拍下画面，最终得到（视觉观测，关节动作）对。在整条链路中，真机是不可替代的环节。

数字遥操作则以生成式世界模型替代真机：人的手势驱动世界模型，世界模型实时合成 " 若机器人执行该手势，其第一人称摄像头将观测到的画面 "，而手势本身通过 retargeting 直接转化为关节动作标签。最终输出同样是（视觉观测，关节动作）对，区别仅在于观测来自生成器而非真实摄像头。

这一替换在形式上简洁，但要真正成立，世界模型必须同时满足三个条件。

第一，以机器人为中心。生成的画面必须是机器人第一人称视角，而非人手画面，否则下游模仿学习策略因视觉分布不匹配而无法使用。现有的动作控制世界模型（如 Hand2World、EgoSim 等）大多仍停留在以人手为中心的阶段。

第二，动作可回溯。每一帧生成画面背后的底层动作信号，必须能够还原为具体的机器人关节角度。若动作仅是隐式的 latent 变量、缺乏对应的关节级标签，则生成视频只能观看而无法用于训练。

第三，实时可交互。操作员需要在观测画面的同时进行操作，于闭环中完成复杂技能。当生成延迟超过 200ms 时，操作员将丧失对场景的控制感，采集数据的质量随之下降。当前多数 DiT 生成模型的推理速度处于 2 – 10FPS，难以支撑实时交互。

RynnWorld-Teleop 是首个同时满足上述三个条件的系统。为了满足这些需求，研究团队设计了多项核心技术。

三项核心设计：应对深度模糊、本体鸿沟与实时性

△RynnWorld-Teleop 总览。动作被渲染为深度感知骨骼视频并编码进隐空间；预训练视频 DiT 通过分布对齐的 patch embedding 分支引入手势条件；模型再被蒸馏为因果学生以支持流式自回归生成。设计一：深度感知的动作特征，让 2D 骨骼承载 3D 信息

操作员的手势经手部追踪设备捕获，得到 21 个关节点的 3D 坐标；而世界模型的主干是 2D 视频生成器，无法直接将 3D 点坐标输入图像隐空间。

常见做法是将 3D 关节投影为 2D 骨骼图后再输入，其局限在于投影会丢失深度信息。人手在相机前方 20cm 与 40cm 处做同一抓取动作，2D 投影可能几乎相同，而生成画面本应存在明显差异。

RynnWorld-Teleop 采用深度感知骨骼渲染（Depth-Aware Skeletal Rendering），将深度编码进骨骼图的视觉属性：每个关节的颜色与绘制半径随其到相机的距离动态变化，距离近者颜色偏暖、半径较大，距离远者颜色偏冷、半径较小。由此，尽管仍是一张 2D 图像，深度信息已被显式编码进颜色通道与尺寸通道，世界模型可通过学习从这些视觉线索中还原三维空间关系。

渲染后的骨骼序列被送入预训练 VAE 编码器，映射到与目标视频在空间和时间维度上对齐的隐空间。为避免该控制信号破坏预训练视频模型的分布，作者采用分布对齐的加性融合策略：先进行均值 - 方差对齐，再通过初始化为 0 的 gate 渐进注入。消融实验表明，该方案显著优于直接拼接——拼接会使 FVD（衡量生成视频与真实视频分布差异的指标，越低越好）从 585 恶化至 1191。

设计二：渐进式跨域训练，先学人手物理，再迁移到机器人

世界模型需要生成的是机器人第一人称视频，但现实中带有精细骨骼标注的大规模机器人操作数据十分稀缺，而人类第一人称操作视频则相对充裕—— EgoDex 有 7400 万帧，VITRA 有 3070 万帧。

RynnWorld-Teleop 采用渐进式跨域训练（Progressive Cross-Domain Training），分两个阶段进行。

阶段一：第一人称人类视频预训练。在大规模人类第一人称操作视频上训练，使模型掌握 " 手势到手 - 物交互视觉效果 " 的基本物理规律。该阶段数据量级超过 1 亿帧，覆盖大量不同物体与交互模式。此时模型尚不了解机器人的外观，但已习得物理世界中物体对手部接触的响应规律。

阶段二：机器人域适配。收集 1800 条配对的人机遥操作数据（同步记录人手骨骼与机器人第一人称视角）并在此基础上微调。该阶段数据量级较小（约 43 万帧），但由于第一阶段已建立交互先验，模型能够快速适配机器人的视觉外观与运动学特征。

消融实验具有较强说服力：跳过阶段一、直接在机器人数据上训练，FVD 从 585 升至 2598 —— 43 万帧不足以让模型从零学会手 - 物交互的物理规律，却足以在 1 亿帧预训练基础上完成风格迁移。该路线的核心逻辑在于：先在大数据上学习物理规律，再在小数据上适配视觉外观。

△RynnWorld-Teleop 的生成效果展示。手势流可映射到人类与机器人两种本体；模型把大规模人类视频中的交互先验成功迁移到机器人操作，画面保持高保真与时序一致。设计三：流式自回归蒸馏，从 2.8FPS 到 40FPS 的实时化

基于 Wan2.2 训练的模型是一个双向注意力的视频扩散 Transformer，生成质量高但推理速度仅为 2.8 FPS，而实时交互至少需要 30 FPS，两者相差约一个数量级。

RynnWorld-Teleop 采用流式自回归蒸馏（Streaming Autoregressive Distillation），将双向教师蒸馏为因果学生——学生模型的注意力被约束为 " 仅关注过去 "（因果掩码与 KV Cache），使每生成一帧仅需一次前向推理，而无需重新处理全部历史帧。

蒸馏分两步进行：第一步为因果流匹配预热（Causal Flow-Matching Warm-up），使学生模型先适应 " 仅关注过去 " 的约束；第二步为分布匹配蒸馏（DMD），通过对抗训练使学生的输出分布逼近教师，并将采样步数从 50 步压缩至 4 步。

一个关键的工程细节在于：DMD 阶段的梯度不仅在当前 chunk 内回传，还会跨 chunk 穿过 KV Cache 传播，从而保证相邻 chunk 之间的边界不出现突变，避免长视频生成中出现明显的接缝。

最终的因果学生模型在 480 × 832 分辨率下达到 40FPS，每帧延迟约 25ms。该延迟优于真实机器人相机 30Hz 的标准采集频率，意味着操作员在数字遥操作过程中不会感受到可察觉的延迟。

从手势到训练数据：数字遥操作的完整流水线

世界模型仅是引擎，要将其转化为能够产出可训练数据的系统，还需要一条完整的流水线。RynnWorld-Teleop 的数据生成流程分为三步。

Retargeting（动作映射）：操作员佩戴 HTC Vive 追踪器，系统实时捕获其 6-DoF 手部姿态，通过坐标系变换与阻尼最小二乘逆运动学求解器，映射为机器人的 54 维关节动作向量（双 7-DoF 手臂与双 20-DoF 灵巧手）。该步骤确保人手的每个动作都有一一对应的机器人动作标签。

骨骼条件合成（Skeletal-Conditioned Synthesis）：以一张场景参考图为起点，操作员手势被渲染为深度感知骨骼序列，驱动世界模型实时生成机器人第一人称视频。该环节具备重要的扩展性：参考图不必来自真实场景，通过图像编辑工具替换其中的物体或背景，即可生成训练集中未出现过的场景数据。

分块重锚定（Chunked Re-anchoring）：纯自回归生成容易出现视觉漂移，即随时间推移生成画面逐渐偏离真实物理状态。RynnWorld-Teleop 以 81 帧为一个 chunk，在 chunk 边界处用真实帧重新初始化模型，以确保长时间演示的物理一致性。

△对分布外（OOD）视觉状态的泛化。替换参考图中的物体（上）或背景（下），RynnWorld-Teleop 依然保持时序一致与物理合理的动力学。

该流水线的一个显著特性是 " 场景即参考图 "：若需机器人在大理石桌面上操作，只需更换参考图；若需其抓取训练时未见过的物体，编辑参考图中的物体即可。论文展示了未见物体与未见背景两类域外泛化实验，在两种设定下模型均能保持时序一致性并忠实执行动作轨迹。这表明数字遥操作的数据多样性，理论上仅受限于操作员的构思与图像编辑的能力。

关键实验：合成数据能否训练出可用策略

世界模型生成的视频即使视觉效果出色，若无法训练出有效策略，其价值也将局限于视频生成本身。RynnWorld-Teleop 需要回答的核心问题是：纯合成数据能否直接支撑机器人完成任务。

实验平台为配备双 TIANJI M6 手臂与双 WUJI 灵巧手的真实机器人系统（共计 54 自由度），评测的四个任务覆盖双臂协调的不同难度：双物抓取（Dual Picking）、积木推动（Block Pushing）、双臂举起（Bimanual Lifting）与盖盖子（Lid Placement）。每个任务测试 35 次，初始状态完全随机。

结论一：零真机数据即可训练出可用策略

△真机策略成功率（%）。加入 RynnWorld-Teleop 合成数据后，多数任务成功率一致提升；π 0 甚至可在零真机数据下完成任务。

最值得关注的结果来自 π 0 模型：在完全不使用任何真机数据、仅用 300 条 RynnWorld-Teleop 生成轨迹训练的情况下，Block Pushing 任务成功率达到 82.86%，Bimanual Lifting 达到 77.14%。这表明合成数据包含了足够的物理信息，能够支撑策略的 Sim2Real 迁移。

结论二：合成数据与真机数据结合可稳定提升成功率

在全部三个测试策略（Diffusion Policy、π 0.5、π 0）上，用 300 条真机数据与 300 条合成数据训练，几乎在所有任务上都优于仅用 300 条真机数据。提升最显著的是精度要求最高的 Lid Placement 任务：π 0.5 从 42.86% 提升至 62.86%，π 0 从 34.29% 提升至 54.29%，均为 +20 个百分点。这说明 RynnWorld-Teleop 生成的数据不会干扰真实数据的分布，反而能通过增加多样性弥补真实数据的不足。

结论三：合成与真实轨迹的特征分布高度重合

△t-SNE 可视化观察到 RynnWorld-Teleop 合成的数据，在特征分布上与真机数据高度重合。

使用预训练 I3D 提取合成轨迹与真实轨迹的高层特征并进行 t-SNE 可视化，两者的分布大面积重叠。这从特征层面解释了合成数据能够有效用于策略训练的原因：世界模型不仅在像素层面逼真，在语义与动力学层面也忠实还原了真实世界的分布。

世界模型本身的定量评测

△RynnWorld-Teleop 的生成能力定量结果，报告视觉质量指标与推理速度。

在生成质量方面，RynnWorld-Teleop 在 EgoDex-Test 基准上全面超越同类方法。相比最强的动作控制基线 InterDyn，PSNR 提升超过 5dB，LPIPS 降低 57%。在相同数据上直接微调 Wan 模型（SFT）的 FVD 为 1223，而 RynnWorld-Teleop 仅为 550 ——该对比表明，深度感知骨骼表征与分布对齐加性融合这两项设计，是拉开性能差距的关键。因果蒸馏后的模型在保持良好视觉质量的同时，将推理速度从 2.8FPS 提升至 40FPS，实现了可用的实时交互。

与传统仿真器的对比：数字遥操作的优势

一个自然的疑问是：Isaac Sim、MuJoCo 等现成仿真器同样能够生成数据，为何还需要世界模型。二者的差异主要体现在资产、域差与物理三个方面。

资产开销。传统仿真器要求每个物体都具备精确的 3D 模型与 URDF 文件，构建一个新场景可能需要数天建模。RynnWorld-Teleop 的输入仅为一张照片，可以直接从拍摄图像开始。

视觉域差。仿真渲染与真实世界之间始终存在真实感差距，表现为光照、材质与传感器噪声的不一致，弥补该差距需要大量的 domain randomization。RynnWorld-Teleop 直接在真实世界的像素分布上生成图像，其本身即在真实视频上训练，天然不存在此问题。

隐式物理。仿真器需要为每种材质手动设定摩擦系数与弹性参数，处理可形变物体（如布料、食物）时更为困难。RynnWorld-Teleop 通过在海量人类操作视频上的预训练，隐式吸收了物理世界的常识，无需显式指定物体的软硬等属性，即可从数据中习得。

需要指出的是，数字遥操作并非适用于所有场景。对于需要精确物理仿真的任务（如高速碰撞、流体模拟），传统仿真器仍不可替代；但对于大规模、多样化的操作数据生成，数字遥操作提供了一条成本显著更低的路径。

展望：机器人数据生成的新思路

RynnWorld-Teleop 所引领的数字遥操作范式重新定义了机器人数据的来源。站在今天回望，具身智能最大的瓶颈始终是 " 数据从哪来 "：从依赖真机的物理遥操作，到跨过视觉鸿沟的人到机器人翻译，再到今天以机器人为中心、动作可回溯、实时可交互的数字遥操作，每一步都让数据采集离物理硬件的束缚更远一点。而它最关键的一步已经被实验证明——世界模型生成的数据，真的能训出在真机上可用的策略。

当然，前路仍有值得探索的方向：复杂物理现象（如流体、高度可形变物体）的生成还不够可靠，跨机器人本体的泛化也仍需逐平台微调。未来，围绕数字遥操作这一思路，如何进一步提升生成质量、扩大规模、覆盖更多场景，值得持续期待。更长远看，当机器人数据也能像文本、图像那样低成本、大规模地生成，具身智能或许就迎来了属于自己的数据 Scaling 时刻——正如互联网规模的语料点燃了语言模型的能力跃迁，一个可无限扩展的数字数据引擎，很可能成为通往物理世界通用智能（Physical AGI）的关键燃料。

论文标题：RynnWorld-Teleop: An Action-Conditioned World Model for Digital Teleoperation

arXiv：https://arxiv.org/abs/2607.06558

项目主页：https://alibaba-damo-academy.github.io/RynnWorld-Teleop.github.io

Github：https://github.com/alibaba-damo-academy/RynnWorld-Teleop

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

【学术投稿】请在工作日发送邮件至：ai@qbitai.com，标题注明【投稿】，并告诉我们：你是谁，从哪来，投稿内容附上项目 / 主页链接，以及联系方式。

  我们会 ( 尽量 ) 及时回复你 : )

点亮星标

科技前沿进展每日见