证券日报 5小时前
蚂蚁灵波同日开源两大模型 推动世界模型与具身智能视频生成双升级
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

    本报讯 (记者谢岚)7 月 9 日,上海蚂蚁灵波科技有限公司(以下简称 " 蚂蚁灵波 ")连续开源两款面向具身智能与实时交互场景的新一代基础模型:实时交互世界模型 LingBot-World 2.0 和视频生成基础模型 LingBot-Video。

    其中,LingBot-World 2.0 全面升级世界预测与交互能力,支持小时级实时生成、720p/60fps 高清实时输出以及更丰富的交互动作与事件,并在业界首次将 Agent 机制引入世界模型,使生成世界从 " 可观看、可操控 " 进一步走向 " 可持续互动、可动态变化 ";LingBot-Video 则是全球首个基于 Mixture-of-Experts(MoE)架构、面向具身智能的开源视频生成基础模型,围绕机器人和具身智能的核心需求重新设计视频预训练范式,在推理效率、物理合理性、动作理解和任务完成度等方面实现系统性提升,为视频基础模型从数字内容创作走向具身智能提供了新的开源底座。

    今年 1 月,蚂蚁灵波开源了第一代世界模型 LingBot-World,重点攻克长视频生成中常见的 " 长时漂移 " 问题。LingBot-World 1.0 将连续稳定生成时长推进到近 10 分钟,而且支持键鼠操控与文本触发环境变化,引发业界广泛关注。在此基础上,LingBot-World 2.0 进一步向 " 无限生成 " 迈进。模型采用因果预训练范式,并引入自研的 MoBA 机制,让模型按照真实世界交互的时间顺序学习世界如何演化。在长达一小时的不间断压力测试中,LingBot-World 2.0 画面始终保持纹理清晰、场景结构连贯,无明显画质衰减。

    此次开源也降低了世界模型的使用门槛。作为新一代实时交互式世界模型,LingBot-World 2.0 不仅可广泛应用于游戏内容生成、影视预演、虚拟仿真、数字孪生等场景,更重要的是,作为蚂蚁灵波全栈大脑 2.0 的重要一环,支持机器人与具身智能训练场景。目前,用户可在 Reactor 平台和灵光 APP 在线体验,感受 LingBot-World 2.0 实时生成、连续交互以及 Agent 驱动的动态世界演化能力。

    同时开源的视频基础模型 LingBot-Video,在北京大学联合字节跳动发布的基准 RBench 上,LingBot-Video 的总分是 0.620,超越了 Wan2.6(0.607)、Seedance 1.5 Pro(0.584)、Cosmos3 Super(0.581)。RBench 作为面向机器人操作视频的综合评测基准,重点考察模型能否生成符合真实物理规律的机器人行为。这一结果表明,LingBot-Video 在生成机器人相关视频时,更能保持动作过程的合理性和任务执行的完整性。

    过去几年,视频生成开始出现两种不同的演进方向:一条通向影院,服务于内容创作;另一条通向机器人,服务于物理世界的理解、预测与交互。LingBot-Video 正是蚂蚁灵波面向具身智能开辟视频生成新路线的重要探索。

     LingBot-Video 从架构、数据和训练三方面进行了系统创新,实现了性能的突破:在架构上,LingBot-Video 采用 DiT+MoE 设计,以 MoE 替代传统 Dense 架构,在扩大模型容量的同时控制单次推理成本;在数据上,LingBot-Video 构建了数据画像引擎,在海量互联网视频的基础上进一步引入 VLA、VLN、Ego 等机器人相关数据,覆盖灵巧操作、机器人移动和第一视角交互等场景,总规模达 7 万小时的具身数据;在训练上,LingBot-Video 引入多维强化学习奖励系统。LingBot-Video 可用于机器人动作预测、仿真数据生成、动作条件建模、世界模型研究等方向。

(编辑 赵思卓 张伟)

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

开源 字节跳动 数字孪生 机器人
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论