上海徐汇 2小时前
几张照片就能搭建虚拟训练场,全新机器人世界模型Mundo来了!
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_font3.html

 

近日,徐汇科创企业大晓机器人,联合南洋理工大学 S-Lab 对外发布全新世界模型 Mundo。简单来讲,这项新技术只需要少量照片或者短视频,就可以搭建出一套既能自由漫游又支持物理碰撞交互的三维虚拟环境,给机器人提供仿真训练场地,帮助机器人更好地适应现实生活中的各类场景。

以往不少三维重建技术只能做到 " 看得过去 ",画面可以切换视角,但物体不会真实发生碰撞、推拉、掉落等物理反应。而 Mundo 补齐了这一短板,它可以把物体质量、摩擦力等物理参数写入虚拟场景。用户通过代码就能修改场景,比如拉开抽屉、推动桌椅、抛掷物件,物理引擎会真实计算物体运动、碰撞结果,再结合参考影像渲染出画面,完成从场景重建、编辑到交互模拟的整套流程。

仅用几张照片,Mundo 就能重建办公室三维空间,自由生成新视角画面,支撑机器人仿真训练

实际使用中,只需要 1~12 张实拍图片,Mundo 就能够还原办公室、居家房间等室内空间。模型既可以顺着设定的相机路线自由漫游,补全照片没有拍到的角落;面对更大空间,还可以生成数十秒甚至分钟级的长镜头探索画面。哪怕是一张绘画或者生成图片,也能以此为起点,拓展出一整片可探索的三维空间。

更关键的是这个虚拟世界是 " 可实操 " 的。虚拟环境里,椅子被推动、物件落地、抽屉开合,都会产生符合现实逻辑的运动反馈。机器人能够在这个复刻出来的环境中练习导航移动、抓取摆放物品,系统还可以同步输出机器人第一视角、第三视角画面,完整留存运动轨迹与交互数据。研发人员可以反复调试机器人策略,把大量训练放在虚拟环境完成,降低现实世界的试错成本。技术演示中还实现了 " 子弹时间 " 效果,可在动作发生的瞬间暂停,多角度回看交互细节。

几张照片即可重建居家全屋空间,AI 自由生成新的漫游视角,为机器人提供可交互的家庭仿真训练场

Mundo 是大晓机器人 " 开悟 "Kairos 世界模型体系的重要补充,重点强化环境建模、仿真训练能力,为机器人走进酒店、商业空间等真实场景铺路。企业已尝试利用这套技术重建酒店楼层环境,模拟开门、取放物品等任务,开展机器人仿真训练。

作为扎根徐汇的具身智能企业,大晓机器人总部设立在徐汇区,依托区域人工智能产业生态开展技术研发与产学研合作,持续攻坚世界模型技术,致力于解决机器人行业数据不足、泛化能力弱等痛点,推动服务机器人商业化落地。此次 Mundo 成果对外公开,相关项目页面与技术博客已上线,为行业研究提供新的参考。

送你一个新闻盲盒

快来打开看看吧

记者:王永娟

编辑:宁平英

转载请注明来自上海徐汇官方账号

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论