点击蓝字   关注我们

6 月，英伟达 GTC 2026 大会上，PICO 与英伟达联合发布了 Isaac Teleop 方案。

这是一套基于 VR 头显的机器人遥操作系统，通过 PICO 4 Ultra 头显和英伟达 Isaac 软件平台，开发者可以用 VR 设备操控机器人并采集操作数据。目前，这套方案已经开源，支持 WebXR 接入，并在火山引擎上提供云端部署。

VR 已死？不，VR 正在以另一种方式活在机器人的灵魂里。

01 解决机器人训练的尴尬：缺数据，尤其是真实世界的数据

具身智能，简单来说就是让机器人像人一样感知物理世界、做出判断并完成动作。

但与大语言模型可以轻松从互联网获取大量的文本和图片不同，机器人需要的是真实世界中的动作数据，比如如何控制抓取力度、如何完成复杂动作、如何进行空间协同，这些能力无法仅依赖仿真生成，而是需要通过大量真实世界的人类进行示范和持续训练。

但是现在，整个行业面临一个尴尬的现实：仿真数据便宜，可以大规模生成，但真实的数据很贵，成本极高。

仿真与真实世界之间始终存在一道鸿沟，在仿真环境里训练得很好的模型，到了真实环境可能就会出现一些不协调的问题。正是在这一背景下，PICO 与 NVIDIA 的 Isaac Teleop 方案应运而生。

VR 技术能为机器人的数据采集提供一整套的解决方案。在 Isaac Teleop 方案中，PICO 4 Ultra 头显搭配两个手柄和体感追踪器，可以让操作者通过第一人称视角操控机器人。系统会自动记录操作过程中的手臂关节轨迹、手部抓握动作、视觉图像、环境状态等信息。

这种 " 演示即数据 " 的模式，将数据采集从实验室专属设备变成了普通开发者可以使用的工具。

具体到技术层面，Isaac Teleop 在三个方面解决了具身智能的数据问题。

首先就是前文提到的，在机器人研发中，仿真环境可以低成本生成大量数据，但仿真中训练好的模型放到真实机器人上往往表现不佳，这种现象被称为 "Sim-to-Real gap"。

仿真训练

而 Isaac Teleop 能提供统一的运行时环境，开发者在英伟达 Isaac Lab 仿真平台中编写的控制代码，可以直接迁移到真实机器人的 Isaac ROS 环境中运行，在 VR 里操作仿真的动作和采集的数据格式，也与真实的机器人完全一致。

这意味着，在虚拟世界中验证的算法，可以较低损耗地直接迁移到物理世界。VR 在这里就起到一个连接数字孪生与物理实体的桥梁作用。

另一点之前也有提到，那就是降低数据采集的门槛，实现规模化数据生产。

传统遥操作需要昂贵的动捕设备、定制手套、多相机标定系统，一套完整的动捕设备价格在几十万元到上百万元不等。而 PICO 4 Ultra 的售价远低于这个水平。

一个普通人戴上头显，通过手柄和体感追踪器就能操控机器人，同时系统自动记录多维度的操作数据——这种模式使得数据采集不再局限于少数专业实验室，如果大量开发者都使用这套方案，就可以规模化地生产人类示范数据，为机器人的模仿学习提供充足的训练样本。

如何将人类的操作意图准确地发送给不同结构的机器人，是一个技术难点。Isaac Teleop 通过统一的设备接口，将 PICO 手柄的 6-DoF 操控定向到不同类型的末端执行器。开发者不需要为不同的机器人重写驱动，这就减少了大量繁复的训练难题。

02 反向 push：具身智能要求的高技术指标，推动 VR 硬件各方面升级

VR 与具身智能之间的影响是双向的。具身智能对真实物理操作的要求很高，这些要求也正在变成 VR 头显的技术指标，推动 VR 硬件向更高精度和更低延迟的方向发展。

第一个发展的方向就是超低延迟和高精度追踪。人形机器人需要完成精细操作，比如插拔接口、拧螺丝、穿针引线。这些任务对控制延迟和定位精度有很高要求。

根据机器人操作的相关研究，精细操作场景下的端到端延迟需要低于 50 – 100 毫秒，手柄定位精度需要达到毫米级，这些要求比普通消费级 VR 游戏的要求高很多。

PICO 已经公布了下一代头显产品 Project Swan。公开信息显示，这款产品具备双眼 4K 显示能力、更低的延迟和更强的空间计算能力，并且与 Isaac Teleop 深度集成。

这些技术指标的提升，一个主要驱动力就是满足机器人遥操作场景的技术要求。

第二个方向是视频透视与空间计算能力的升级。第一视角的操作要求头显上的相机能够真实还原物理世界的深度、材质和光照信息。如果视频透视的画面不够清晰或者存在畸变，操作者就无法准确判断机器人与目标物体之间的距离。

具身智能场景对视频透视提出了更高要求：分辨率需要提升，动态畸变需要降低，RGB-D 相机的融合精度需要提高。这些技术优化在满足机器人操作需求的同时，也会改善 VR 的混合现实体验。

当然还有最重要的力反馈与触觉交互的需求。

当前 PICO 方案主要依靠视觉反馈和手柄振动来提供操作反馈。但对于精细操作任务，比如抓取易碎物体或感知物体材质，仅靠视觉和振动是不够的。真正精细的操作需要力反馈手套或外骨骼设备，让操作者能够感受到机器人抓取物体时的反作用力。

在消费级 VR 市场中，力反馈手套长期价格高昂、普及率低，因为普通游戏玩家并没有强烈的力反馈需求。但机器人操作场景提供了真实的商业需求。具身智能的遥操作需求，会加速这类外设的普及和成本下降。

03 人操作机器人变成 AI 操作机器人，VR 促进实现闭环

VR 与具身智能之间的相互促进，最终会形成一个自我强化的闭环。在这个阶段，VR 起到了重要的作用。

首先是人类的遥操作。我们使用 VR 头显和手柄操控机器人，完成各种操作任务，在这个过程中，系统会记录大量的视觉和动作配对数据，这些数据就是训练机器人模型的基础。

接下来是模仿学习。AI 模型会使用采集到的人类示范数据进行学习，并通过学习大量的视觉和动作配对，掌握从视觉输入到动作输出的操作过程。模型训练一段时间后，机器人就能自主完成部分简单的任务。

但此时机器人的能力仍然有限，遇到没有训练过的情况，可能就会出现问题。

接下来就是人机协同持续学习的阶段。当机器人在自主执行任务时遇到卡住或错误的情况，人类操作员可以通过 VR 远程介入。这种介入操作本身也是一种数据，这些数据记录了机器人在什么状态下失败，以及人类如何纠正这个错误。这些纠错数据将被用来持续微调模型，让机器人逐步改进。

最后就是 AI 生成完整的训练数据。当模仿学习模型足够强的时候，它可以在 VR 仿真环境里自己尝试不同的操作，生成大量数据。比如，模型可以在仿真中反复试验，看看哪种操作能成功、哪种会失败，把这些结果记录下来作为新的训练样本。

而这些合成数据只需要用少量真实遥操作数据来检查一下是否可用即可，到了这个阶段，数据稀缺的问题会明显缓解。

在整个环节中，VR 扮演了多重角色：

它是数据采集器，记录人类操作的全过程；

它也是人机协作的界面，让人类可以在机器人失败时远程介入；

同时，它还是仿真验证的环境，让 AI 模型可以在虚拟世界中进行自我校对。

Tips

小结

PICO 在机器人领域并不是新手了。早在去年夏天，PICO 团队就已经推出了基于 OpenXR 标准的跨平台 XR 机器人远程操作框架 XRoboToolkit，面向全球开发者与研究机构开放。

目前，XRoboToolkit 已经服务了上百家机器人组织，并在 2026 年获得了 IEEE SII 最佳论文奖。此次与 NVIDIA 合作，PICO 将机器人遥操作从本地工具拓展到了云端生态，从仿真辅助升级到了数据生产管线。

现在，Isaac Teleop 已支持 PICO 4 Ultra 与 WebXR 接入，工具链已经在 GitHub 开源。全球开发者可以利用 PICO 设备构建自己的机器人数据集，并通过 NVIDIA Isaac Teleop 开源代码库获取完整的代码与文档。

需要提及的一点是，VR 头显厂商进入具身智能领域并非 PICO 一家。在 2026 年中国上海 VRAR 产业博览会上，大朋也首次对外展示了其 RoboPilot 具身机器人遥操作与数据采集方案；中国移动在其 " 灵犀数霄 " 具身智能训练场中也使用了 VR 头显作为遥操作工具。

这些厂商的动向表明，VR 硬件正在成为具身智能基础设施的一个重要组成部分，同时，具身智能也在反向促进 VR 硬件在低延迟、高精度和强感知方面不断改进。

或许 Meta 的元宇宙梦已经破碎，或许 VR" 已死 "，但在物理 AI 时代，二者的关系是共生—— VR 正在以另一种方式活在机器人的灵魂里。

文 / 清月泠

（文中未注明图片均来自网络）

获知更多最新行业资讯

扫码加入 XR 发烧友交流群

商务合作｜

爆料投稿｜

媒体合作｜

往期精彩推荐

VR / AR 星球