【CNMO 科技消息】近日，WorldOracle 世界模型评测平台正式发布，并向开发者开放评测提交。据项目方介绍，这是全球首个以真实执行为标尺的动作驱动世界模型评测平台，由智元、英伟达、普林斯顿大学、得克萨斯大学奥斯汀分校以及多伦多大学研究人员联合完成，核心目标是判断模型预测的未来与真实执行结果究竟相差多少。

WorldOracle

与过去更多关注生成视频 " 像不像 " 不同，WorldOracle 把评测重点放在执行结果是否真实。平台会预先采集真实操作画面和动作序列，再让世界模型在相同初始画面和动作条件下生成预测视频，最后与真机实际执行结果逐帧对照。即使机器人真实操作中出现抓空、掉落或洒水，只要模型能够准确预测失败，同样可以获得高分。

项目将这种预测与真实执行的吻合程度称为 " 执行一致性 "。评测主要设置三类压力测试，包括模型能否严格服从动作序列的因果关系，能否适应机器人自主策略产生的停顿、抖动和临场修正，以及预测时间延长至 120 秒后，误差是否仍处于可控范围。项目方称，WorldOracle 目前同时覆盖动作条件化、真实数据、失败样本、长时序、多本体、多视角以及策略自主执行分布等多个维度。

此次评测集包含 335 条真机轨迹，其中智元精灵 G2 机器人 100 条、YAM 机器人 75 条、人类第一视角手部操作 100 条，另有 60 条来自 G2 策略自主执行，每条轨迹约 2 分钟。更特别的是，约 40% 的交互片段保留了失败或次优执行，包括抓空、掉落和洒水等情况。测试任务则覆盖水果抓取、挂毛巾、倒水和开合抽屉，对应刚体、柔性体、流体和关节体四类物理形态。

研究团队还横向测试了 IRASim、Ctrl-World、DreamDojo、Cosmos 3、GE-Sim 2.0、JointControlVideo 和 OSCAR 共 7 个动作驱动世界模型。结果显示，不少模型能够较准确地复现机械臂运动，却难以正确预测物体最终状态。例如在 G2 人工操作轨迹中，GE-Sim 2.0 的机械臂空间对齐得分达到 100.0，但物体部分只有 62.8。随着预测时间从 10 秒拉长至 120 秒，多数模型成绩也出现明显下降。

WorldOracle 目前已经公开榜单和提交指南，同时支持开放权重与闭源模型。开发者完成注册审核后，可以根据模型支持的本体和赛道上传预测视频，并查看综合分、分项成绩以及逐段对比结果。

版权所有，未经许可不得转载