全天候科技 1小时前
觅蜂发布超20万小时真机数据质量研究,实验量化三类后训练数据缺陷
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

11 月 20 日,上海觅蜂具身智能科技有限公司(以下简称 " 觅蜂科技 ")官方发布一项真机数据质量研究。团队称,该研究基于 20.7 万小时真机采集记录、2 万余条任务记录,用微调后的 π 0.5 模型做真机验证。

π 0.5 是 Physical Intelligence 开发的通用机器人基座模型,觅蜂团队用自采示教数据微调后,在真实机器人上评估。

团队将机器人本体适配、遥操作系统和模仿学习数据质量三个已有研究方向,放进同一条真机数据生产链路中讨论,并用具体实验量化其中的部分影响。

相关论文已于 11 月 17 日提交至 arXiv。研究结论是,机器人成功完成任务,未必就能拿到好的训练数据,成功的示范也有可能教坏模型。

论文由觅蜂真机操作团队署名,属于尚未经同行评审的技术报告。在论文的贡献说明中,研究团队将参与人员分为核心贡献者、团队负责人、贡献者及 Sponsor(项目支持)等类别。

项目支持名单列有觅蜂科技董事长兼 CEO、智元联合创始人、联席总裁、具身业务体系总裁姚卯青及智元具身研究中心副总裁任广辉等人,未说明具体支持形式。觅蜂科技是智元机器人孵化的数据服务公司,论文首页同时列有智元机器人遥操作网站域名。

论文分别描述了三组受控实验。

第一组是观测缺失实验,团队把积木放在机器人视野外,比较三种采集协议。

从实验结果来看,操作员直接看见目标、机器人看不到时,模型选臂准确率 50%,接近随机猜测;操作员与机器人同视角、凭先验直接选臂,为 53%;先让机器人主动搜索确认目标再选臂,达到 100%。

三组各做 30 次真机评估,完整抓放成功率分别为 33%、40%、60%,前后差距的 95% 置信区间为 27 至 64 个百分点。

实验表明,操作员和机器人看到同样的东西还不够,示范必须把决策依据记进画面。

第二组是校准实验,团队在 14 个关节的状态数据里按批次人为加入零位偏移,模拟不同采集批次的校准差异,每组 100 条示范。

论文称,实验全部使用与部署零位一致的干净数据时,成功率 63.3%;混入 75% 偏移数据但保留 25% 对齐锚点,为 66.7%;没有干净锚点时只剩 20% 到 26.7%。推理端机器人自身存在零位偏差时,30 次测试全部失败。

团队表示,对后训练而言,校准一致性是模型在部署本体上可靠执行的前提。

第三组是冗余实验,团队向训练数据掺入 0% 到 80% 含停顿绕行的示教。模型保留了新增路径长度的约 90%,执行耗时从 25.3 秒升至 32.6 秒。

这组实验对应采集现场的真实场景。实验结果说明,后训练数据的危险之处在于可能混淆任务成功率与动作质量。操作员为弥补设备限制做出的绕行和停顿,可能随成功示范一并进入训练集。

三类问题影响模型学习的方式并不相同。观测缺失让模型只看到操作结果,缺少决策所需的信息;校准不一致让相同的关节数值对应不同的实际姿态;冗余示范把操作员的补救动作当作正确路径交给模型。

为解释 " 隐形坏数据 " 产生的原理,团队从本体设计和遥操作控制两个层面分析。论文作者说明,端到端的因果验证仍属后续工作。

本体层面,团队分析了智元 G1/G2、宇树 G1-D、星海图、松灵、ARX、Franka 等 25 款主流双臂机器人。结果显示,夹爪加长后,机器人够得到更远的位置,但可能伴随关节极限代价上升。

论文提出,机器人选型不能只比较机械臂长度,还应综合评估任务所需的位置、夹爪方向和关节余量;工作空间不足时,应优先考虑腰部运动。

控制层面,实验发现,控制系统引入的多余动作,最终会被后训练固化进模型的动作策略里。

团队提到,一个滤波算法可能只需要不到 1 毫秒完成计算,却给实际运动带来超过 200 毫秒的相位滞后。操作员看到的画面落后于机器人的真实动作后,容易越过目标、等待反馈,再反向修正。

因此,评估采集系统质量时,不能只考虑网络延迟、算法运行时间和任务成功率,还需要测量从操作指令、机器人响应到视觉反馈返回的整个过程。

关于人类示范数据的质量如何影响机器人模仿学习,学界已有相关研究,主要涉及模型对决策依据的识别、遥操作采集系统的设计,以及不同示范方式对下游策略的影响。

觅蜂这项研究的意义在于,将本体、控制、数据三类变量放进同一数据生产框架,给出真机量化结果。论文指出,实验只用单一策略模型和单一动作表示,部分偏移为人工注入,效应的普适性有待更多任务和架构验证。

今年 9 月,觅蜂发布众包平台觅蜂派。觅蜂方面表示,真正判断数据质量的,始终是下游模型是否愿意复购,以及使用之后有多少价值,平台结算按审核后的有效数据时长执行。

觅蜂此前宣传百万小时级无本体数据产能、年内目标千万小时级,论文披露的 20.7 万小时属于真机遥操口径。两者并非同一统计口径,未说明统计范围是否交叉。

论文验收清单提出检查完成时间、轨迹长度、动作连续性与决策信息完整性,与结算口径如何衔接有待确认。

对数据服务行业,这项研究的指向是验收标准可能从任务是否成功,扩展为观测完整性、校准一致性、路径效率的多维口径,能否进入采购与定价环节,待觅蜂客户端验证。

观察点是,同行数据服务商是否跟进同类质量指标,模型公司是否在采购验收中提出对应要求,第三方是否在 π 0.5 之外的架构上复现这些效应。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

机器人 上海 创始人 ceo
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…