" 构建可自由探索、可物理交互的机器人世界模型。"
作者:苏打
编辑:tuya
出品:财经涂鸦(ID:caijingtuya)

公司情报专家《财经涂鸦》获悉,近日,大晓机器人联合南洋理工大学 S-Lab 发布面向具体环境构建,可探索、可交互的世界模型—— Mundo,支持与 Atlas 类似的场景重建、自由视角探索和时空模拟能力。
据悉,相较于 Atlas,Mundo 可将物体的质量、摩擦等物理属性纳入场景程序,通过物理引擎计算运动、接触与碰撞。同时,Mundo 支持调用智能体,通过代码编辑场景中的物体、属性与动作,将少量影像转化为可自由探索、可编程交互、可用于机器人导航与操作训练的三维世界。
值得一提的是,Mundo 可将少量图片或者视频,拓展为可持续探索的三维空间,同一组参考图像可以支持多条相机路径;面对更大场景,还可动态选择上下文,连续生成数十秒至分钟级的探索画面。
展示场景中,输入 1 至 12 张图像,模型即可围绕房间中的家具和空间结构展开探索。同一组参考图像可以服务于多条路径,让观察位置和角度自由变化。
对于创意场景而言,单张图像提供了构建可探索空间的起点。面对更大的环境,Mundo 使用数十张上下文图像,支持数十秒至分钟级的长路径生成。
与此同时,Mundo 还实现了三维场景表示、物理仿真与视频生成的结合,并结合 Astra 打造全新空间理解能力,先通过影像场景与物体,并可以通过代码实现场景可以编辑,再通过代码定义、编辑物体属性和动作。
通过代码编辑世界,Mundo 可通过场景程序描述物体的名称、尺寸和位姿,并为其配置质量、摩擦等物理属性。脚本定义动作和施加的力,物理引擎计算物体在重力与接触约束下的响应,得到运动轨迹、接触位置和碰撞力。随后,Mundo 结合环境参考图像,将这些变化渲染到对应场景中。
物理引擎计算运动与碰撞,视频模型结合参考影像渲染结果,形成从场景重建、代码编辑到交互模拟的完整流程。场景既能被看见,也能响应动作、记录变化,进而成为机器人训练与测试的环境。
在同一个定制场景中,Mundo 进一步支持机器人移动和操作,将环境重建连接到机器人测试与训练。
例如,导航方面,Mundo 可以生成不同机器人沿路线行进的第一人称和第三人称画面,将空间布局与机器人沿途观察联系起来;操作方面,Mundo 为参与交互的物体建立几何和物理属性,让不同形态的机器人尝试同一任务,例如将苹果放入碗中、将罐子放上托盘或堆叠积木。
此外,Mundo 还将空间探索拓展到时间维度。从导航到操作,再到四维时空观察,Mundo 为机器人提供了可反复演练、可多角度检查的环境。在酒店应用中,团队已利用它重建楼层与洗衣区域,为导航提供空间和语义信息,并模拟洗衣机开门等交互,为机器人理解任务与开展训练提供支持。
在大晓机器人以 Kairos 为核心的世界模型技术体系中,Mundo 补充了具体环境建模与仿真训练能力,连接现场采集、数据生成和策略优化,服务于机器人进入实际工作场景。
本文由公众号财经涂鸦(ID:caijingtuya)原创撰写,如需转载请联系涂鸦君。
添加涂鸦君个人微信(ID:tuyaclub) 加入【公司情报社群】 参与资本市场讨论 获取一手情报


登录后才可以发布评论哦
打开小程序可以发布评论哦