DoNews 51分钟前
蚂蚁灵波开源触觉基础模型LingBot‑Touch,为机器人通用大脑补上指尖 “手感”
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

(文 / 杨亮)11 月 10 日消息,近日,蚂蚁灵波正式开源面向机器人灵巧操作的触觉基础模型 LingBot ‑ Touch,补齐机器人通用大脑的触觉感知短板,让机器人在视觉之外拥有灵敏的指尖触觉能力,进一步提升具身智能的物理操作水平。

据了解,LingBot ‑ Touch 基于接近 5000 小时的真实触觉数据完成预训练,兼容磁触觉、视触觉、压阻式三类主流触觉传感方案,能够把异构传感器输出的差异化原始信号,转化为一套标准化触觉表征,实现触觉经验跨传感器、跨灵巧手、跨算法模型、跨任务场景复用。

此前蚂蚁灵波 LingBot 系列,已经搭建起涵盖高精度空间感知、高动态环境交互、可泛化灵巧操作的完整技术栈,解决机器人 " 看得清、想得明白 " 的问题。

而 LingBot ‑ Touch 的推出,则把感知能力延伸到机器人指尖,解决精细作业中 " 摸得灵敏 " 的难题,完善具身原生通用大脑能力。项目相关主页、技术报告已同步在 GitHub、Hugging Face、魔搭社区上线,开发者可自由获取使用。

在真实物理场景中,仅依靠视觉感知难以支撑全部精细操作。以拧瓶盖任务为例,视觉可以完成手指与瓶盖的对准,但瓶盖打滑、指腹受力变化这类关键状态,往往会被物体遮挡,摄像头无法捕捉,只能依靠指尖触觉判断接触位置、受力大小动态变化,以此调整后续动作。

为验证该模型的实际效果,研发团队在 Sharpa Wave、XHand 两款灵巧手上完成 26 项真机测试,测试场景覆盖拧瓶盖、翻书页、麻将识别等多种精细操作。

实验结果显示,接入 LingBot ‑ Touch 统一触觉表征之后,LingBot ‑ VLA、π 0.5、Diffusion Policy、T ‑ Rex 四款不同动作模型,任务平均成功率相较无触觉方案提升 14 ‑ 26 个百分点。

其中拧瓶盖测试中,T ‑ Rex 控制 Sharpa Wave 灵巧手,无触觉条件下成功率仅 56.25%;直接输入传感器原始信号时成功率为 62.5%;接入 LingBot ‑ Touch 触觉表征后,任务成功率提升至 90%,直观证明标准化触觉信息对机器人实操能力的增益。

当前市面上触觉传感器技术路线多元,不同硬件输出信号差异巨大,过去机器人触觉方案大多高度绑定特定硬件,更换灵巧手或者传感器,就要重新采集数据、重新适配模型,复用成本很高。

LingBot ‑ Touch 的核心创新,便是构建一套和特定硬件解耦的统一触觉表征架构。模型针对不同传感原理设置独立编码入口,将不同触点布局采集到的信号映射至统一指尖坐标空间,通过共享模型学习接触位置、受力以及时序变化,输出通用触觉 Token。无论是触觉手套遥操作采集的数据,还是灵巧手真机采集数据,都可以参与模型训练,同时也预留接口支持未来新增类型触觉传感器接入。

在 XHand 灵巧手的跨硬件验证中,该设备搭载的磁触觉传感器并未出现在预训练数据集,模型预训练阶段的磁触觉样本全部来自触觉手套采集。测试时固定 LingBot ‑ Touch 参数不变,仅用该灵巧手的操作示范训练动作模型,即可正常发挥触觉感知能力,证实其跨硬件迁移能力。

该模型定位是处在传感器与动作模型中间层的通用感知模块,并非绑定自研算法的专用组件,可适配第三方动作策略,硬件厂商、机器人整机团队可以自由搭配传感器、灵巧手与动作算法,降低触觉功能二次开发成本。

同时兼顾端侧设备算力约束,项目提供两个版本模型。全部 26 项真机实验均采用参数量约 530 万的 LingBot ‑ Touch ‑ Tiny 轻量版,接入现有动作模型后,整体参数量仅增加 0.13% ‑ 0.16%,适配端侧部署需求;更大规模的 LingBot ‑ Touch ‑ Small 版本,在感知任务上具备性能提升潜力,在接近 5000 小时预训练数据规模下,模型依旧能够从新增数据中持续获益,也预示触觉基础模型还有较大迭代空间。

当下通用大模型推理能力持续增强,但机器人想要真正打通真实世界物理闭环,物理操作泛化能力仍是核心瓶颈。LingBot ‑ Touch 延续蚂蚁灵波 " 具身原生 " 的技术路线,区别于传统数字领域多模态大模型,面向机器人物理交互场景,融合空间感知、触觉力觉等来自真实传感器的信号。研发方表示,传感器输入的模态质量,直接决定机器人动作输出效果,后续将继续围绕物理操作泛化开展基础模型技术探索。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

机器人 传感器 开源 物理 实操
相关文章
打开 ZAKER 参与讨论