去山野间追风 3小时前
为具身智能打造数据基建,火山引擎与TOP20企业中15家深度合作
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_font3.html

 

为具身智能打造数据基建,火山引擎与 TOP20 企业中 15 家深度合作

火山引擎

具身智能行业已进入到 " 物理经验 " 的竞争。从简单的拧开瓶盖、叠好 T 恤,到在杂乱工具箱里找到那把螺丝刀,再到工业场景中的精密操作——机器人的每一次操作背后,都需要进行海量的模型训练,通过物理世界的真实反馈,获取模型进化的养料。

数据能力正成为分水岭,数据的规模、质量、场景覆盖度以及原始数据转化为可训练数据的效率,直接决定了模型泛化能力与商业化落地速度。

2026 世界机器人大会上,火山引擎分享了具身智能解决方案,围绕数据这一核心生产要素,提供从数据采集、处理、标注、管理、仿真、训练的全链路数据闭环

火山引擎副总裁杨立伟表示,火山引擎与 Seed 团队正在推进一些核心场景的工程化落地,驱动数据飞轮在真实场景的转动。

目前,国内估值 TOP20 的具身智能企业中,已有 15 家与火山引擎达成深度合作。火山引擎已成为上纬新材、星海图、千寻智能、自变量、大晓机器人、穹彻智能、具脑磐石等头部具身智能企业的选择。

Seedance 视频生成:为具身模型训练提供高质量物理交互数据

在数据采集环节,除人工遥控操作采集、无本体数据采集、传统仿真等方式外,视频生成模型 Seedance 为数据增广提供了新路径:只需参考少量高质量的先验数据,即可泛化生成大规模可训练数据,且基本符合重力、碰撞、摩擦力、机器人关节运动约束等现实物理规律,有效补充具身智能在实机采集中不易获取的中、难例场景训练数据。

Seedance 可以有效扩展不同桌面布局、不同物体组合、不同视角与光照条件,提升具身智能模型泛化性。

行业里大量采集的是第一视角(头戴设备)数据,但模型训练往往需要第三视角或腕部视角数据。额外架设相机,成本高且难度大。Seedance 可基于第一视角的原视频输入,生成空间物理一致的第三视角视频,为模型提供更丰富视角的数据。

Seedance 也可用于行为动作生成。例如,基于首帧和任务要求生成运动视频,帮助机器人进行动态动作训练。

// 上纬新材

上纬新材利用 Seedance 能力完善视频转动作 Pipeline,将视频中的人体 / 物体运动翻译为机器人可执行的动作指令,为运动控制强化学习提供训练数据,支撑机器人全身运动能力的学习与泛化。

// 穹彻智能

行业里大量数据是通过采集员裸手操作采集,在给模型做预训练时,需要将裸手替换成不同构型的机械臂训练数据。穹彻智能依托 Seedance,将人工动捕采集数据泛化为不同机械臂的操作数据,实现跨本体映射,帮助模型在机器人上有更好的表现。双方还在持续探索将大模型能力应用于数据查重、多样性检查等更多数据治理场景。

VLM 数据标注:视觉理解驱动的自动化数据标注

随着具身智能行业数据体量的爆发式增长,传统人工标注的方式已无法满足规模化需求。豆包大模型业界领先的 VLM(视觉语言理解),已广泛应用于具身智能视频数据的自动化切分与打标,目前准确率可达到 90%+,实现大幅降本提效。

豆包大模型 VLM 能够对长视频进行原子动作级别的细粒度切分(精确到帧级,几十毫秒),并为每个片段生成语义标签(caption),替代传统人工标注流程。还可对动作序列、动作质量、信息密度和背景复杂度进行判断,为模型提供更充分的信息监督,并帮助具身智能企业清洗低质量数据。

相关能力已覆盖视频整体描述、动作识别、任务子步骤拆解、关键事件定位、物体状态变化、动作顺序理解、动作意图识别、任务成功判断、夹爪交互检测等丰富的标注任务场景。

// 星海图

基于豆包大模型的 VLM 能力,星海图实现具身训练视频的自动打标,大幅提升数据标注效率。火山引擎大数据平台还为星海图提供海量数据存储、处理与交付能力,支撑具身训练数据的全链路管理与高效流转。

AI 数据湖底座:解决多模态异构数据管理难题

具身智能在模型训练场景,涉及视觉、触觉、动作、语言、状态等多模态异构数据,传统数据方案已难以承载超大规模多模态数据处理的计算存储及检索挖掘需求。

火山引擎具身智能多模态数据湖解决方案,提供分布式计算引擎、多模态数据湖存储格式、丰富的数据处理算子,支持数据快速存取、CPU+GPU 混合负载的加速计算、自动化标注、检索与挖掘等。火山引擎与具身智能企业共同贡献算子生态,持续提升数据处理管线的效果和效率。

// 大晓机器人

通过火山引擎 AI 数据湖,大晓机器人搭建起高效的数据处理管线,结合豆包大模型能力,对各类数据、场景进行分类、打标、质检,极大提高整体数据处理效率。

具身智能从技术验证走向规模化落地的新阶段,数据将持续成为关键底座。火山引擎将依托在云基础设施、大模型、数据智能与工程化实践上的综合能力,与具身智能行业伙伴共同完善数据基础设施建设,推动具身智能更快走向真实世界、服务千行百业。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论