AI科技评论 10-09
GPT-6官方下场之后,RoboDojo榜首换上了中国名字
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

14B 参数,无额外数据,无 agent RSI 辅助,开源可复现

作者丨齐铖湧

编辑丨林觉民

过去半年,具身智能大大小小的榜单更新了一轮又一轮,但真正有信息量的变化并不多。

RoboDojo 最近的几次榜首更迭,却是个例外。

首先是上个月 RoboDojo 榜单,因为被 GPT-6-Astra 跨界屠榜,拿下第一,变得备受行业关注。作为通用大模型的主力选手,GPT-6 下场参评具身分支榜单,跨考机器人领域,是非常值得记录的行业信号,它的出现,威胁到了不少具身基模的江湖地位。

而就在刚刚,榜单第一位换成了一个来自中国的自研模型 "VPP2"。

据 AI 科技评论独家获悉,VPP2 是清华唯一持股的具身公司星动纪元推出的最新世界动作模型(WAM),全称叫做 Video Prediction Policy 2。

近日, VPP2 以平均成功率(Avg SR)32.26%、平均得分(Avg Score)39.26 分的成绩登顶 RoboDojo 榜首,并拿下 generalization 、precision 、memory 三项成绩第一。这是继 GPT-6-Astra 登顶之后,中国具身团队在这个榜单上拿到的最高分。

据 AI 科技评论 独家了解 星动纪元 VPP2 这款被业 内传为 " 最强 WAM" 模型的三大细节,第一这只是一个只有 14B 参数的模型;并且,它没有使用任何额外数据,也没有使用 agent RSI。其次,这是一个 开源 模型,任何团队均可用该开源模型复现本次夺冠成绩。

某种意义上,在 RoboDojo 榜上,VPP2 的出现是一次里程碑式的存在。

01

RoboDojo 榜单含金量:

具身智能界的珠穆朗玛峰

RoboDojo 是一个来头不小的权威评测:由香港大学多媒体实验室(MMLab)牵头,联合 UC 伯克利、清华等全球近 20 所顶尖学术机构共建,背后是知名仿真基准 RoboTwin 的原班人马,一直被各个具身大脑公司戏称为 " 具身智能界的珠穆朗玛峰 "。

它干的事,用一句话概括:给全世界的机器人模型办一场统一高考。

" 统一 " 二字是理解这个榜单的关键。过去两年,各家具身公司都在发 Demo、报成功率,但各家考卷不同、硬件不同、评分标准不同,横向比较几乎无从谈起。RoboDojo 试图终结这种状态:真机与仿真双轨并行,统一硬件、统一协议、公开题库,从根上杜绝针对性优化和过拟合。

仿真环节包含 42 个双臂任务,考察五个能力维度:泛化、记忆、精度、长程执行、开放词汇指令遵循。每一项都对应真实操作场景里的硬骨头。

以泛化维度为例,机器人要按颜色和字母标识把积木分拣到对应盒子里,或把汉堡部件按序装盒,物体摆放位置全程随机化,这和实际工作场景中物体随机放置的状态一致,任何细微的位置偏移都可能导致失败。

记忆维度要求机器人按正确顺序依次拉动多个抽屉拉杆,全程零容错,错一步记零分。精度维度考察插花、倒水这类精细动作。长程维度最具代表性的是 " 微波炉取三明治 ":开关微波炉门、开关内部炉门、取出并放置三明治,完整链条约十个步骤,考验的是多环节任务的全局规划。开放维度则要求听懂任意口头指令,比如把桌面上出现的任何物品分拣到对应容器中。

评分规则同样不近人情:只要任务没有完整走完,即便大部分步骤正确,最终得分也是零。

这套考卷的区分度,从头部模型的集体低分就能看出来。 在 星动纪元 VPP2 之前,榜单上主流模型的成功率多在个位数到两成出头,PI 的 π 0.5 成功率 8.31%、平均得分 14.67;GPT-6-Astra 以 22.48% 和 28.97 登顶时,已经是断档式的领先。

第一名也只有两成多成功率,说明两件事:题出得确实难,以及整个行业离 " 毕业 " 还很远。

值得一提的是,出现在榜单上的 GPT-6-Astra 并非第三方研究者复现的结果,而是 RoboDojo 官方亲测的成绩。这样的榜单含金量,在具身评测里并不多见。

在这样的考卷上,VPP2 论文报告的成绩是成功率 32.26%、平均得分 39.26.,高于 GPT-6-Astra 的 22.48% 和 28.97。并同时拿下泛化、精度、记忆三个单项第一。

把几组数字放在一起看:π 0.5 是 8.31%,GPT-6-Astra 是 22.48%,VPP2 是 32.26%。在一个第一名只能做对两成多题目的考场上,成绩每抬高一个百分点,背后都是真实能力的增量,而不是刷榜技巧的增量,这一点,我们在下一节会展开。

还有一个容易被忽略的参照系。

PI 的 π 0.5 出现在全球绝大多数榜单上,都是别人拿它的开源模型去跑分,属于 " 被参赛 ";它唯一一次官方亲自下场的赛事,是今年 4 月的 Benjie ’ s Olympics。那场比赛的三项第一,同样被星动纪元拿走。也就是说,两次与头部公司 " 官方主力 " 的正面对垒,胜出的是同一家中国公司。

从某种角度上,星动纪元在具身大脑的江湖地位上,一直是非常有野心的。

02

含金量在考法:一场没有 " 外挂 " 的考试

从测评结果上,VPP2 的实力支撑了这一野心。

仿真评测圈存在一个半公开的做法:为了冲高分数,不少参评团队会引入额外数据 " 加餐 ",或者使用 agent RSI,向智能体注入特权状态信息,辅助决策。规则并未禁止这些手段,谈不上违规,但不同考法之下,分数的可比性难免打折扣。

VPP2 的成绩单上,这两项都是空白:训练只使用官方标准数据集,按官方 baseline 协议公平训练,未引入任何额外数据,也未使用 agent RSI。换句话说,这是一场 " 裸考 "。

为什么考法比分数更值得讨论?因为没有额外的题可刷、没有场外信息辅助,这个成绩就不可能是靠过拟合或者后训练堆出来的。它证明的是预训练阶段沉淀的原生能力,而原生能力强的另一个说法,叫泛化性强。

这正是行业当下最缺的东西。

今天讨论具身智能,流行的判断是 " 没有落地 ",这个说法并不准确:头部公司多多少少都有落地项目,真正缺的是大规模落地。卡点在于,每进入一个新场景,都要做大量工程性优化和后训练,适配成本高到客户算不过账。要打破这个循环,唯一的出路是把基模的泛化性做上去,基模见过的世界足够多、理解得足够深,进入新场景的边际成本才能降下来。

VPP2 这场 " 裸考 " 的实际含义正在于此:它用一套可复现、可对照的成绩证明,泛化能力可以来自基模本身,而不是来自场景定制的工程技巧。对行业来说,这比一个榜首位置重要得多。

榜单光环之下,还有一组数字值得单独拿出来看:VPP2 是一个 14B 参数的模型。

它对标过的对象里,站着英伟达的 Cosmos3 64B,参数量是它的四倍多。在开放式任务的视频预测指令遵循率上,VPP2-14B 在人类操作视角拿到 0.80、机器人视角拿到 0.90,而 Cosmos3-64B 是 0.70 和 0.78,VPP2 高出约 11 个百分点。

要知道,VPP2 的基座模型 Wan2.1-14B 在这项测试上只有 0.32 和 0.04,提升来自训练方法,而非基座本身。真机侧同样如此:在 ALOHA 双臂零样本操作任务上,VPP2 的成功率超出最强基线 18.5 个百分点。

小模型的价值不只是 " 以小博大 " 的叙事快感。

机器人的端侧算力是有硬约束的,基模小一号,推理成本、响应延迟、功耗全都松一口气,换来的是实打实的部署自由度。对一家要给物流中心批量交付机器人的公司来说,这对星动纪元来说,不是学术问题,是真金白银的商业问题。

03

星动纪元VPP2 的技术细节剖析

拆开 VPP2 的论文,一个直观感受是:这个工作的成色,更多来自数据管线和训练范式,而不是某个炫酷的新概念和新架构。

这与行业风气形成了对照。具身模型赛道现在几乎每周都有新架构发布,新名词一个接一个。

而星动纪元的实践给出的答案是:在架构趋同的当下,把基础工作拆细、做扎实,带来的提升比换一个架构直接得多。

训练范式上,VPP2 的核心是 " 解耦 "。

传统做法把视频预测和动作生成放在一起联合训练,VPP2 的判断是顺序错了:视频预测的质量决定动作的上限,两者必须拆开、排序。

先让模型在 " 脑内 " 预演物理世界的变化,再基于预演结果输出动作。

整条管线分四步:事件级视频预训练、语言条件化视频预测、基于视频模型 KV cache 训练动作专家、针对评测的专项后训练。

策略执行时,模型每步只用 0.2 秒的推理时间,就能输出 0.8 秒的动作块。

论文里有个精彩的细节。一句简单指令 " 把碗放进盒子 ",对应的未来视频是高度多模态的,有无数种放法,映射关系不稳定,模型根本没法学;

而把指令扩充为详细描述(" 左侧机械爪拿起左边的白色碗,放入透明盒内,相机保持静止 "),未来的执行轨迹立刻变成唯一、稳定的映射,分布高度集中。一个 caption 工程上的洞察,直接决定了预测任务的可学性。

数据管线同样要下功夫。

论文中显示,训练数据横跨单臂(OXE、RoboMIND、DROID、RH20T)、双臂(AgibotWorld-Beta、RoboCOIN)、移动与人形、人类第一视角(Ego4D、Epic-Kitchen)和通用视频(Panda-70M)等多个来源,且每一类数据配不同的过滤策略:末端执行器不可见的片段直接删除,完全可见的取首帧做标注。这种 " 数据洁癖 " 不性感,但有效。

这一细节,让我们想到 DeepMind 研究员姚顺宇此前有一个流传颇广的判断:大模型领域最稀缺的不是天才,而是靠谱、对自己做的事情负责的人。

所谓靠谱,就是把事情拆细并且做到位。在将基础工作拆细、做扎实后,VPP2 在模型表现上的提升比想象中大太多了,因此星动纪元团队的这次工作,某种程度上,和姚神的这个判断隔空达成了默契。

04

论文中的彩蛋实验:

GPT+WAM= 泛化性的无限可能

论文里还埋着一组容易被榜单新闻盖住的实验:给 VPP2 加上一个由 GPT 类模型担任的 " 子任务规划器 ",负责高层规划,五个任务的平均成功率从 27.6% 直接跳到 57.6%,翻了一倍还多;井字棋这类需要策略思考的任务,从 0 分涨到 38 分。

这组数据指向一个清晰的分工:GPT 管 " 想 ",WAM 管 " 做 "。物理 AI 等于通用认知乘以通用物理执行,两者构成 " 认知—规划—预测—执行—反馈 " 的闭环。

值得玩味的是,GPT-6-Astra 亲自下场打具身榜,本身就是大模型公司想吃掉 " 做 " 这一层的信号。

而星动纪元给出的是另一条路线:认知与物理执行解耦为两个基模,各自规模化,再闭环协同。从 2024 年的 HiRT、ERA-42,到今天的 VPP2,这家公司是 GPT+WAM 范式的率先提出者,并且一步步把它从论文搬到了榜单和产线上。

具身模型的范式还在演进,但下一个范式的轮廓,已经隐约可见。

05

榜单之外的具身公司:星动纪元

最近不少新旧具身公司交替,我们正好可以借星动纪元这次登顶,聊聊一家具身公司的克制,与去处。

翻一下星动纪元的打榜史,会发现这家公司在这方面相当克制。WorldArena 的冠军,是主办方拿公开成果主动测了他们,属于 " 被动 " 参赛;真正自己主动下场打的,只有 Benjie ’ s Olympics、RoboChallenge 和这次的 RoboDojo 三个,三个都是第一。

挑考场的逻辑也清晰:都是对方主力亲自出席的考场。考场之外的去处同样明确。一方面,VPP2 已同步开源。另一方面落地侧,星动纪元已完成物流行业首个 PMF 验证,与中国邮政、顺丰合作,在全国 5 个省市、10 余个物流中心常态化运营。

从某种意义上,星动纪元在打榜的态度上,给很多具身公司打了个样,打榜不是目的,而是一把标尺,泛化能力最终要去的地方,是那些不需要 " 重新调一遍 " 的新场景。在 " 视频可用 " 和 " 产品可用 " 之间的那道鸿沟,靠刷榜填不上,靠泛化可以。这大概是 VPP2 这个第一之外,更值得行业记住的东西。

文末附上我们扒到的 VPP2 相关信息供各位进一步了解

开源代码 :

https://github.com/roboterax/video-prediction-policy-2

项目主页:

https://robert-gyj.github.io/ video-prediction-policy-2

上车,带你看遍全球 AI 顶会精华

可独家畅览:

专家演讲 PPT

大会报告全文

热门论文解读

学术新星访谈

未经「AI 科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI 科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

机器人 ai 开源 清华
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论