文汇 5小时前
机器人暗光抓取不再“失明”,新开源方法让相机成像围着动作任务优化
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

灯光一暗,原本能完成的机器人抓取任务就可能失败。对走出实验室的机器人来说,光线变化绕不开:同样的任务、同样的物体,换一组灯光,相机送给模型的画面就可能大不相同。

问题出在图像进入机器人模型之前。相机采集的 RAW 信号要经过图像信号处理器(ISP)做降噪、白平衡、色彩校正等处理,才变成机器人看到的 RGB 图像。过去这一步常被当作固定预处理,但它会直接影响机器人能否看清目标、预测正确动作。

围绕这一问题,地瓜机器人联合东京大学等机构提出 RawVLA:在已有机器人视觉 - 语言 - 动作策略前加一个可学习的成像模块,从 RAW 数据出发,根据当前画面和历史信息调整成像参数,让输入图像更适合下游操作任务。训练时,原有 VLA 策略保持冻结。

简单说,过去相机 " 怎么加工画面 " 是固定配方;RawVLA 让这套配方围绕机器人任务来学习,目标不是让照片更好看,而是让机器人更容易抓对、放对。

真机实验中,团队用 π 0.5 策略测试抓取与放置、抽屉操作、插花、堆叠与覆盖四项双臂任务。暗光下,搭配 RawVLA 的平均成功率为 66.5%,默认 ISP 为 0%,DarkISP 为 11%;正常光照下,RawVLA 为 75.0%,默认 ISP 为 76.5%,表现接近。也就是说,暗光能力明显改善,常规场景没有明显退步。

仿真测试也显示收益:在 RoboTwin 2.0 上,跨五种光照、两种 VLA 策略的平均成功率从默认 ISP 的 43.91% 提升到 54.98%,提高 11.07 个百分点。论文报告的成像模块处理速度为 168 FPS,但这一数字只代表成像模块,不代表整套 VLA 推理或机器人控制频率。

团队同时发布 RawVLA-Bench,把成像处理纳入机器人操作的训练与评测,覆盖极低光、低光、正常光、过曝和极端过曝五种条件,基于 LIBERO 和 RoboTwin 2.0 构建,包含 2403 条配对轨迹,完整评测设置 13250 次测试。目前数据集与评测代码已公开。

这项工作的意义在于:提升机器人在光照变化下的操作能力,不一定只靠改更强策略,也可以直接优化机器人 " 接收图像的方式 "。从 RAW 数据、成像处理到动作执行,RawVLA 把相机与策略之间的接口纳入任务学习,为后续研究提供了可复现的起点。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

机器人
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论