猎云网 昨天
智在无界发布Being-M0.7,用隐式世界动作模型打通人形机器人的全身移动灵巧操作
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_font3.html

 

来源:猎云网

7 月 15 日,通用具身基础模型公司智在无界 BeingBeyond 正式发布 Being-M0.7 ——全球首个全身移动操作隐式世界动作模型(Latent WAM)。

这不是一个只能让机器人 " 看到 " 世界的模型,而是一个能让机器人 " 理解 " 世界如何运转、并据此做出全身移动操作的模型。它打通了从视觉感知到全身移动、再到灵巧操作的完整链路,让机器人不再局限于桌面及操作任务,而是成为真正具备人类全身协调能力的智能体。

Being-M0.7 通过超 10000 小时的人类第一人称视频预训练和极小样本真机适配,在 " 隐空间 "(latent space)中,基于隐式视觉信息和运动信息推演物理变化,让机器人在真正理解物理世界的基础上,通过全身移动操作与物理世界交互。

在被具体化为机器人可执行的指令之前,模型先从大规模以人为中心的数据中学习了三项核心能力:视觉上下文理解、未来状态预测、以及人形运动学结构的隐式表征。换言之,模型在 " 学会控制 " 之前,已经先 " 学会了理解 "。

1. 从 Being-H 到 Being-M,智在无界持续引领隐式世界动作模型范式

智在无界是全球率先押注大规模人类视频训练路线的具身智能企业,也是全球极少数同时布局通用灵巧操作与移动操作模型的创新公司,更是国内首个推出原生隐空间世界动作模型的团队。

今年 4 月,智在无界发布了 Being-H0.7,将数据规模扩展至 20 万小时人类第一人称视频。在 6 项国际性权威评测中,H0.7 综合排名全球第一,同时也是首个覆盖跨本体、跨场景、连续动态、流体、柔性物体、物理规律与上下文推理等七大关键维度的通用具身世界模型。

Being-M0.7 是这一隐式世界动作模型路线的最新成果,也是全球首个将隐式世界动作模型能力从 " 桌面灵巧操作 " 扩展到 " 全身移动操作 " 的模型。隐式世界动作模型让机器人建立对物理世界的 " 内心推演 ":不只是识别眼前的物体,还要预判它们会如何运动、如何相互作用、自己的动作会对环境产生什么后果。这些推演不需要生成任何像素画面。模型在表征里直接 " 感知 " 到物理规律的存在,从而精准输出动作完成任务。

二、基于 MoT 架构,Vision 和 Motion 分工协作,实现高效数据利用

人形机器人的全身移动操作,不仅需要第一人称视觉信息(Vision)来进行空间感知,还需要理解自身在物理世界的位置、姿态,更需要结合空间感知进行决策和规划,输出未来要执行的运动信息(Motion)。

但高质量的 Motion 数据一般通过动捕获得,成本较高;Vision 与 Motion 对齐的配对数据更为稀缺。在这种情况下,如何充分利用所有可用数据,是实现人形机器人领域具身基础模型规模化的关键。

智在无界选择了 MoT(Mixture-of-Transformers)这一混合 Transformer 多模态模型架构。它的核心设计是:让视觉和运动各自有专门的 " 处理通道 ",只在需要时交换信息。

它不仅可以处理 Vision+Motion 配对数据,还可以同时处理纯 Vision 数据、纯 Motion 数据,将这些数据高效融合利用。这不仅扩大了可用数据规模,更容易规模化训练,也可以从概率建模角度理解为对联合分布的边际约束。Vision+Motion 的配对数据充分发挥跨模态注意力的优势,非配对数据则各自贡献于对应的模态流,天然兼容模态不完备的真实世界数据。

与此同时,为了解决人类与机器人在本体形态上的根本差异,智在无界进一步引入了一套统一的运动表征,将人类运动与人形机器人轨迹纳入同一表示空间。相比于仅使用可执行指令标签进行监督的传统方案,这套共享表征提供了更丰富的后训练监督信号——模型可以从人类数据中提取稠密的运动级知识,而非仅依赖稀疏的任务标签。

另外,统一的运动表征在推理阶段建立了额外的运动级反馈通路,为实现协调的全身控制提供了闭环支撑。

Being-M0.7 的预训练基于超过 10000 小时的人类第一人称视频数据及 motion 数据。在掌握了全身运动空间中的协调模式后,真机数据只需将隐式世界模型映射到具体机器人的本体运动学,即可完成基于视觉的移动操作策略训练。因此,后训练只需要较少样本完成真机适配。

三、可扩展的多模态融合范式,通往更通用的具身智能

在智在无界看来,Vision-Motion MoT 架构还有一个更为深远的意义:它确立了一套可扩展的融合范式,为具身基础模型打开了新的可能性。

在 Being-M0.7 的训练中,智在无界团队建立起超 10000 小时的大规模混合模态预训练数据,从过去昂贵、稀缺的机器人真机演示,拓展至海量人类行为数据。而 Being-M0.7 作为面向人形机器人的隐式世界动作模型,也首次实现了第一人称视觉 Vision 和 Motion 两个模态的联合预训练。

这只是起点。未来,随着文本、音频、触觉等多模态数据的持续引入,模型对物理世界的理解将更加立体和完整。文本可以提供高层任务语义,音频可以捕捉环境声音线索,触觉可以反馈接触力与材质信息——这些信号与视觉、运动数据在 MoT 架构中分层融合,将让机器人不仅能 " 看到 " 和 " 动起来 ",还能 " 听懂指令 "、" 感知材质 "、" 理解语境 "。随着数据规模的持续 Scale Up,这套范式的能力边界将持续向外拓展。

这正是具身基础模型的发展趋势:在预训练中覆盖更多模态、更多维度的数据,让模型从单一感知通道走向全感官融合。

接下来,智在无界将围绕 Being-M 系列模型持续迭代,不断探索隐式世界动作模型的上限,走向真正通用的具身智能。

1、猎云网原创文章未经授权转载必究,如需转载请联系官方微信号进行授权。

2、转载时须在文章头部明确注明出处、保留官方微信、作者和原文超链接。如转自猎云网(微信号:lieyunjingxuan

)字样。

3、猎云网报道中所涉及的融资金额均由创业公司提供,仅供参考,猎云网不对真实性背书。

4、联系猎云,请加微信号:jinjilei

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

机器人 vision 物理 规律
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论