松果财经 5小时前
地瓜机器人开源世界模型仿真平台Uranus:跨本体、多视角连续推演,闭环策略评测相关性达0.98
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

亮点

· 一套模型,支持 7 种主流本体:以统一动作表示连接不同机器人,支持多相机视角同步生成。

· 从 3 秒训练片段到 60 秒稳定闭环:持续接收动作、生成观测,让策略在虚拟环境中连续运行与测试。

· 四步去噪,提升交互推演效率:结合流式推理与历史缓存复用,降低连续生成的计算开销。

· 闭环策略评测相关系数达 0.98:在 RoboTwin 五个任务、九个策略的实验中,与原仿真环境的策略成功率高度相关,为策略筛选提供参考。

· 技术报告 / 代码 /SDK/ 权重开放:全球开放 100 个早期体验名额,邀请开发者与研究者共同探索。

· 项目主页:d-robotics-ai-lab.github.io/large-model-team/blog/uranus

· 推理代码:github.com/D-Robotics-AI-Lab/Uranus-OSS

· SDK 代码:github.com/D-Robotics-AI-Lab/Uranus-SDK

· 模型权重:huggingface.co/collections/D-Robotics/uranus

机器人策略的迭代,需要大量可重复的交互与验证。真机实验受到设备、时间和安全条件的限制,传统仿真则需要投入较多资源构建三维资产、场景与物理模型。如何让策略更便捷地测试动作、观察结果、比较表现,是机器人开发中的重要问题。

围绕这一难题,地瓜机器人大模型团队此前推出并介绍了世界模型仿真平台 Uranus,探索从真实交互数据中学习动作与环境变化,让机器人策略在虚拟环境中持续运行、测试与比较。

Uranus 以未来关节轨迹为条件,采用自回归扩散架构,并配套构建覆盖数据处理、模型训练、流式推理与服务部署的基础设施。 给定参考画面、相机参数、机器人本体描述与后续关节轨迹,模型能够逐步生成动作对应的多视角观测。策略根据生成观测调整动作,模型继续预测环境变化,形成持续运行的交互回路,支持策略测试与比较。

图 1:Uranus 整体框架与闭环交互演示

如今,Uranus 技术报告正式公开,推理代码、SDK 及两个版本的模型权重已开源,并面向全球开放 100 个早期体验名额。 开发者与研究者可通过报名链接,或点击文末「阅读原文」填写申请,获取体验资格。

本文将进一步介绍跨本体、多视角、长时程推演背后的技术设计与实验结果,欢迎开发者与研究者参与体验,共同探索机器人仿真与策略评测,让智能机器人更易构建。

单臂、双臂、移动操作,一套模型统一支持

从单机械臂到双臂机器人,再到移动操作平台,不同本体的关节数量、连杆结构、末端执行器与相机布局各不相同。Uranus 将这些差异转换为统一的动作与空间表示,使多种机器人能够接入同一套模型。

具体而言,Uranus 根据本体描述与关节状态执行前向运动学,计算三维关键点和末端位姿,再通过相机参数投影为二维骨架图。夹爪开合、末端位姿等信息也被编码到骨架条件中,让模型能够以统一方式理解不同机器人的运动。

相机条件则采用由标定参数计算得到的 Pl ü cker 射线嵌入,描述各像素对应的空间观察关系。固定相机和随机器人运动的相机由此接入统一的几何条件通道,模型再通过交替式空间—时间注意力融合多视角信息和时序信息、建模动作过程。

图 2:不同机器人转换为统一骨架表示

在交互过程中,Uranus 每次接收未来四个时刻的关节位置,预测一个潜在帧,解码为每个相机对应的四帧连续画面,与输入轨迹的时间戳逐一对齐。生成观测返回上游策略,支持下一轮动作决策。

这一接口预测给定运动轨迹下的视觉后果,适用于输出关节轨迹的策略与控制器。统一表示为跨本体应用提供了基础,面对训练中未出现的机器人,精确交互能力仍需进一步验证。

四步去噪,支持分钟级多视角连续推演

持续交互要求世界模型不断使用自身生成的画面预测后续变化。随着推演时间增长,早期误差可能逐步放大,导致物体外观变化、相机漂移或交互偏差。生成速度与长时程稳定性,需要同时解决。

Uranus 从预训练阶段即采用因果架构,确保每个目标帧只访问参考观测与有效历史。同时,参考帧始终保留在缓存中,为场景外观、物体身份与相机布局提供稳定的视觉锚点;历史信息则通过滑动窗口管理,控制连续推演的缓存开销。

图 3:流式自回归生成示意图

在此基础上,团队引入基于学生自回归推演的蒸馏,让模型在训练阶段接触自身生成的历史,缓解训练与实际推理之间的分布差异。通过分布匹配蒸馏与分阶段一致性正则,每个潜在帧的生成被压缩至四步去噪,再通过一次独立计算更新历史缓存。

配套的流式推理机制只解码新增内容,并复用历史时序特征;服务系统以会话为单位维护状态,减少连续调用中的重复计算,为分钟级多视角推演提供支持。

闭环评测相关系数达 0.98,让策略比较有据可依

世界模型用于策略评测,关键在于能否准确反映不同策略的相对表现。团队在 RoboTwin 的 5 个任务、9 个策略上开展闭环实验,每个策略在各任务中运行 15 个 episode。策略持续读取 Uranus 生成的观测并输出动作,由模型推进环境变化。

经过针对 RoboTwin 的领域适配,实验取得以下结果:

· 成功率相关系数达 0.98:各策略在 Uranus 与 RoboTwin 干净环境中的平均成功率高度相关;

· 排序指标 MMRV 为 0.01:策略间的相对表现保持较高一致性,为策略比较与筛选提供参考。

图 4:长时程生成对比与闭环策略评测结果

在 WorldOlympiad 机器人评测设置下,Uranus 的综合得分为 0.722、交互得分为 0.730,均为所比较模型中的最高值。考虑到各模型的应用目标存在差异,该结果作为参考性评估。

图 5:九个策略在 Uranus 与 RoboTwin 中的成功率对比

上述实验验证了 Uranus 在特定任务与适配条件下的评测价值,其结果向真机迁移的有效性仍需进一步验证。

代码 /SDK/ 权重开放,全球开放 100 个体验名额

让世界模型服务机器人开发,需要建立从生成质量到闭环有效性的评价标准。 动作能否及时得到反馈、连续交互是否稳定、策略排名是否可信,都直接影响它在开发流程中的实用价值。

Uranus 将模型与系统协同设计,并通过闭环策略评测检验效果,为这一方向提供了可复现的起点。接下来,地瓜机器人大模型团队将重点提升精确交互与跨任务泛化能力,进一步验证虚拟环境中的评测结果能否迁移至真机。

随着代码、SDK 与模型权重开放,地瓜机器人期待与开发者共同积累更多可复现的交互案例和评测依据,让世界模型逐步成为机器人研发中可用、可信的基础工具。

来源:地瓜机器人

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

机器人 开源 物理 阅读 基础设施
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论