驱动之家 昨天
小米发布并开源Xiaomi-Robotics-U0:380亿参数具身生成大模型!生成效率提升83倍
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_font3.html

 

快科技 7 月 15 日消息,今日,小米正式发布并全量开源 380 亿参数多模态自回归具身生成基础模型 Xiaomi-Robotics-U0,是行业首个可统一覆盖四类核心具身生成任务的一体化方案。

该模型打破以往机器人场景、轨迹、视频生成模型相互割裂的行业现状,能够自主生成、扩增机器人训练所需图像与视频数据,解决真机采集极端、危险、长尾场景数据成本高、难度大的痛点。

依托自研 FlashAR+ 推理加速方案,生成效率相较传统自回归架构提升近 83 倍,大幅降低大规模具身数据生产的落地门槛。

模型统一承载具身场景生成、具身轨迹迁移、机器人交互视频生成、通用文生图与图像编辑四大能力,依托独创五维解耦结构化控制范式,可分别对工作台布局、操作物体、杂物、光照、背景五大维度通过自然语言独立调整,全程保障多视角几何一致性,修改画面元素时不会出现机械臂位姿错位、场景空间畸变问题。

同时兼容方舟无限、智元多款、松灵 PiPER 等多种机器人本体,支持生成室内、户外、海底、赛博场景等各类开放世界仿真环境。

多项权威评测与真机实测验证了模型领先性能,在全球 126 款模型同台比拼的 WorldArena 具身视频评测基准中,Xiaomi-Robotics-U0 拿下总分第一,指令遵循、交互流畅度、多视角一致性全部领跑。

在具身迁移对比测试中,模型在深度一致性、结构保真等指标全面超越闭源 GPT-Image-2.0,后者普遍存在跨视图物体错位缺陷,无法用于机器人训练数据扩充。

真机实操场景下,使用该模型扩增数据训练的机器人,在陌生光照、全新背景等分布外复杂工况中,任务完成进度平均提升超 26%,面对反光、彩色强光等视觉干扰也可自主校正,大幅提升机器人环境泛化能力。

真机任务成功率对比

推理层面小米推出 FlashAR+ 加速方案,搭配 vLLM 分页 KV 缓存批量调度技术,优化图像编辑、具身迁移全流程解码速度,1024*1024 分辨率图像生成耗时从四百多秒压缩至 5.44 秒,在保障画面、物理交互质量的前提下适配工业化批量生成需求。

目前模型全部代码、权重已在官网、GitHub、Hugging Face、魔搭平台完整开源,面向全球具身智能开发者开放使用。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:建嘉

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

小米 机器人 开源 分辨率 物理
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论