爱范儿 6小时前
LingBot-World 2.0 实测:无限时长、随机变化的世界,终于来了?
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

「加载」一个世界,只需要几秒钟的时间——在过去,这说的是一个已经可以游玩的游戏,里面所有的内容早已写好。

如果一个从未被创造过的全新世界,也只需要几秒钟就可以被创造出来,里面具有独特、未曾出现过的环境、关卡、天气、角色、剧情。

这就是最新世界模型 LingBot-World 2.0 正在试图实现的事情。「一个世界只需要几秒钟就能造出来」不再仅限于预制的世界,而是让每一次生成,都是一次全新的创造。

这是一个秒级生成、支持实时交互的开源世界模型。

秒级生成指的是你只需要写好提示词,丢给它参考图,几秒之后对应的世界就生成好了,可以直接开始探索。

而实时交互不仅限于传统的探索,「wasd」和「攻击」已经是上个时代的玩法了。在 LingBot-World 2.0 中,你甚至可以在一个新的世界被生成之后,继续用提示词修改它的逻辑、环境、角色、风格——等等全部的一切。就算你不修改,模型也会自己修改自己——就像一个会自主进化,一个「活着」的世界。

2025 年 2 月才正式成立的蚂蚁灵波,是 LingBot 系列世界模型背后的开发者。今年 1 月才发布第一个大版本,不到半年 2.0 也已经训练完成并开源部署上线,动作十分迅猛。

具体来说,这次的 2.0 升级主要有四个方面:

通过因果结构 ( causal ) 的预训练让交互更加稳定;

提供 14B 参数量的模型和 1.3B 官方蒸馏版本的小模型,均为开源;

基于生成的世界,模型会自主生成符合语境的「技能」类型,例如攻击、射箭、施法、枪械设计等;且正如前面提到,用户可以用提示词来自定义「技能」。

在与模型搭配的 agentic 脚手架方面,引入双 agent 架构,角色的规划与动作,和场景的推进和实时生成、演化,这两套任务由两个分别的 agent 完成。

在和 LingBot-World 第一代、阿里 ATH 的快乐生蚝、Google 的 Genie 3 等知名长时序世界模型对比中,LingBot-World 2.0 在生成时长、动作自由度、语义交互自由度、视频清晰度等方面全面领先。

在模型规格方面,根据 APPSO 了解,蚂蚁灵波将会首先发布 14B 参数量的模型,提供给有部署能力和意愿的开发者。

除了最高质量的体验之外,14B 模型还可以为其他世界模型以及自演化世界建模工作提供开源基座,该版本将采用 2026 年逐渐流行起来的非商用开源协议进行开源,蚂蚁灵波也会联合 Reactor 等平台,提供在线体验及 SDK。

由蚂蚁灵波官方蒸馏的 1.3B 参数量小版本,也将随后提供。该版本可以带来相对轻量的体验,采用商用协议开源,并且由于参数量较小,能够稳定输出 720p/60fps 的视频流,并部署在消费级独立显卡上。

在 LingBot-World 2.0 正式发布之前,APPSO 前往蚂蚁灵波办公室进行了详细的测试。

一个世界,有自己的导演和演员

大家可能还记得世界模型之前最热门的海外选手是 Google 的 Genie。今年年初推出的 Project Genie 是一个实时渲染、可交互的环境,融合了包括 Genie 3 在内的多个模型,每个模型负责不同工作。

APPSO 所体验到的 LingBot-World 2.0,也是一个实时渲染的、用户可交互的环境。

我们用一张《刺客信条:起源》的角色剧照作为参考图,并且搭配了中世纪欧洲荒野的环境提示词。

点击生成之后,大约过了 2 秒钟,我们的刺客就开始在地图中探索了。我同时按下了「前进」 ( W ) 和「近战攻击」 ( U ) 两个键,角色跟随着我的指挥一边向前走,一边挥舞着火焰附魔的长刀。

在工程层面上,有两个 Agent 在同时工作:Director 和 Pilot Agent。

顾名思义,Director Agent 是「导演」,能够 根据场景的推进,来实时发出「指导」,控制新的环境元素的生成。比如,画面中出现的 NPC、魔物,战场上的漂浮的灰烬,都是由 Director Agent 负责生成;Pilot Agent 则负责根据我按下的热键所对应的动作,来规划角色的行为。

LingBot-World 2.0 和 Project Genie 有点异曲同工的感觉。

不同之处在于,Google 的做法是在技术底座中融合不同模型,Nano Banana Pro 负责图像控制、Gemini 理解文本指令、Genie 3 负责物理反馈。

而蚂蚁灵波的做法,是在模型配套的 Agentic Harness,也即在工程层面,分出两个不同的 agent 来完成不同的工作。按照官方介绍,这种双 Agent 设计是为了让场景推进过程中能够生成新的环境元素,从而让世界能够自主演化。

如果你对这两者的技术细节感兴趣:实际上 Director 是一个 VLM(视觉 - 语言模型),掌控宏观语义规则、因果推理和时间规划;而 Pilot 则是一个 DiT(扩散模型),负责底层物理动态模拟和高保真视觉渲染。

两者共同构成了一个类似于「大 / 小脑」的共同模拟框架 ( Brain-Cerebellum Co-Simulation ) 。

根据 APPSO 的理解,这种做法还有算力负载上的好处:

简而言之,在上传参考图和提示词之后,模型无需进行复杂的思考,最快只需一两秒就可以生成;而有了这个实时生成的 Director Agent,让环境、角色、道具填充工作——所有能够这个世界活起来的东西——可以在后续不断填充。

也就是说,这种工程思路把「生成」的高算力负载,在时间序列上摊平了。

无限生成,突破世界模型「分钟极限」

此前,Project Genie 的单次 session 时限是 1 分钟,即便是 Google AI Ultra 付费订阅用户也无法突破。这正是因为 Project Genie 的基座架构决定了时间越长、生成的计算成本越呈指数级飞涨,且画面逻辑崩坏不可避免。

而 LingBot-World 2.0 不仅通过工程思路摊平了算力负载,还使得生成时间可以达到了小时级——对于世界模型来说,在实际意义上等同于「无限长」。这也是为什么这个模型还有另一个名称:LingBot-Wrold-Infinity。

世界模型的基础是视频生成模型。但对于视频模型,生成出内容之后任务就结束了,而 LingBot-World 2.0 所实现的,是让世界可以持续运行,让持续时长近乎无限。

最近电影《后室》上映,我们也在实测中上传了一张后室风格的参考图,配上了几组不同的提示词,对 LingBot-World 2.0 的持续时长进行压力测试。我们在这个后室世界中不断地探索,生成纸片、椅子等不同的道具,玩了 10 多分钟。

这主要是以为内我们的实测时间只有几个小时,还要测试许多其它场景和能力。如果没有时间限制的话,这个 demo 可以一直运行。

LingBot-World 2.0 的论文提到了一个新的注意力机制,在自注意力中「混合双向注意力和自回归注意力」 ( Mixture of Bidirectional and Autoregressive, MoBA ) 。

传统的自回归路线(典型代表就是 Genie 3)有一个致命问题:上下文越长,世界模型越依赖「背答案」而不是真正的预测,这会导致过拟合以及画质下降。而蚂蚁灵波团队提出的 MoBA 机制,在注意力掩码中假如了双向注意力这么一个「补丁」,让模型既能够自回归生成,又能保证画质不崩溃。

这一机制也直接揭示了为什么 LingBot-World 2.0 能够做到小时级的时长,并不仅仅是算力堆叠,更多是注意力机制层面实现了创新。

除了算力,限制经典世界模型生成结果的持续时长的还有另一个问题:KV Cache(键值缓存)以及其持久性。

相信大家应该都对 KV Cache 不陌生,它可以被理解为大模型的「短期记忆」。而在世界模型的语境下,一个超过百亿参数量的模型,按照不同精度、头维度、头数等计算出来的显存占用,可能从 10+GB 到上百 GB 不等。换言之,按照今天的技术水平,一个世界模型很难兼得「持续时长」和「一致性」的,因为对于算力和缓存维持的压力太大。

为了实现极致的生成持续时长,让模型能够在小时级的交互过程中维持稳定的输出质量,蚂蚁灵波团队走了一条当今很有前景的路线:因果自回归 ( Causal Autoregression ) 。

传统自回归 / 扩散架构的世界模型和视频生成模型,其本质是在做有条件的像素预测,即通过历史帧的像素来推测下一帧。这种方式相对脆弱,当持续时长过长的时候,会因为严重的误差积累而导致物体、环境扭曲等时空一致性崩溃。

而因果自循环架构,意味着模型不只是预测像素,同时还会预测预测一个被物理法则所框定的离散潜状态 ( latent state ) 。你可以理解为,LingBot-World 2.0 在预测画面的同时也在通过预测的方式运行一个「物理引擎」,能够基于因果逻辑去推演下一个状态,将状态解码为输出画面。

下面这张图能够比较粗浅但精准地解释这种因果架构带来的物理一致性:我们在场景中施放了一个大火球,被溅射到的地方也会有残余的灰烬,阴燃也会持续一段时间。

同理,在 APPSO 的体验中,我们也注意到 LingBot-World 2.0 对于包括重力、水体、自然元素等在内的物理法则的遵循度,基本达到其它一流世界模型的程度。

LingBot-World 2.0 的因果自循环的架构,意味着其在推理的时候不再单纯依赖于模型的注意力机制,用白话说就是无需在将过去一段时间内的全部画面(对应的所有 KV)都塞进缓存,也就在一定程度上避免了 KV Cache 爆炸的情况——从而能够实现生成画面的「超长待机」。

当然这个世界模型仍然会利用 KV Cache 机制。而由于 KV Cache 的影响,APPSO 注意到我们测试的早期内部版本,虽然在物理一致性上效果令人惊叹,在空间一致性上尚待提升。

比如在下图中你会看到,当我们操控小狗退回到原来位置,却出现了一堵此前并不存在的墙:

空间一致性一直是世界模型的经典难题,主要体现为当你转动视角再转回来,或者离开原地再返回,原本的场景已经发生了变化。

这是因为我们体验的内测版本通过 JSON 代码限制了 KV Cache 的长度及其它相关参数,从而控制了空间一致性的时长在几秒内。这个设计主要是服务发布前的测试,能够最体验到接近无时延的新内容生成效果。

在发布之后,蚂蚁灵波官方会在公开体验版中提供更加直观的菜单,比如拨杆或者滑块,来调整那些可以调整的选项,比如 KV Cache 大小、一致性维持的时长等等。

而在 LingBot-World 2.0 的论文中我们也看到了更多细节:这个模型采用了动态 KV Cache 调度的机制,能够根据控制信号和输入状态,来自适应保留或丢弃缓存。通过这种方式,模型能够保保留对当前世界最有价值的缓存历史,而丢弃掉哪些价值不大的废料。

论文还显示,在一个长达 60 分钟、覆盖 20 个不同场景的世界生成任务中,模型能够全程很好地维持场景独特的结构、视觉质量。

纵览整个领域,已经有一些世界模型实现了在相对更长的时序交互中维持时间和空间的一致性。这说明前沿世界模型已经引入甚至涌现出原始的 3D 几何认知。而接下来,不同的团队选择了不同的攻坚方向。

维持近乎于无限的时长,是最关键的探索方向之一。对于游戏、交互式内容来说,时间窗口的长短都对于沉浸感十分重要,而这些场景也是 LingBot-World 2.0 最适合的应用场景。

随时注入事件,变化的世界才是「活的」

最好的东西留到最后。

体验过后我觉得 LingBot-World 2.0 最好玩的能力,是实时事件注入的能力。

对于过去的世界模型来说,你输入参考图以及提示词之后,你对于生成出来的这个世界的影响力是极其有限的。诚然在一个 GTA 式的世界里你可以移动自如,甚至可以和 NPC 互动并操控载具,但这些交互的逻辑,无法跳出模型在初次生成时对于你的输入所描述的世界所构成的理解。这个世界在生成时就已经固定了。

而 LingBot-World 2.0 支持基于文本的新事件注入。也就是说,无论你想要多么夸张、反逻辑的变化,只要你能用语言描述之,它就可以在当前生成的世界里实现。

具体来说,模型本体提供了「事件」 ( Event ) 的接口,用户可以在提示词里直接使用指定的语法来描述希望出现的效果。语法也很简单,比如你可以用 /1、/2 来指定键盘上的 1 和 2 作为临时热键。

不仅如此,前面提到的模型 Director Agent,还会基于当前的世界状态,来实时生成并为世界注入新的事件。

以蚂蚁灵波的测试界面为例,下方分别为移动和视角的快捷键;右侧列出了当前可以执行的操作。其中空格(跳跃)和 P(展翅)是固定的;U(近战)、O(远程) 则会由模型理解当前场景和角色并生成合理的攻击方式;F 和 G 也是同理,模型会基于理解生成新的事件或动作;1、2、3 则允许用户通过提示词自行注入事件。

在实测中,我们生成了一个「逃离塔科夫」风格的 demo,而模型已经预设好了一些交互方式:比如 U 和 O 分别是近战武器肉搏和手枪开火。

更有趣的是,我们注意到在射击了一段时间之后,模型不仅把我们的手枪换成了自动步枪,甚至还会上弹夹……

还是在「后室」风格的场景中,我们描述了两个比较抽象的,基于文本的新事件:1 键把主角变成随机动物,2 键则是一个比较隐性的变化,「修改目前无法看到的后室结构,使其变得无法预期」。

然后我们开始在后室探索,果然,「noclip」进入了一些十分有趣、机关重重的新房间:

只是这房间风格、机器人……怎么让我想起了《迷失》 ( Stray ) ?

在体验中,模型自身会在各种场景中填充一些有趣且符合逻辑的效果,但偶尔也会出现一些反逻辑的「奇葩」效果。比如下图中的「闪电魔伞」,确实让人意想不到。

无论来自于用户自定义,还是模型自主生成,这些「事件」都让 LingBot-World 2.0 所生成的世界变得更加有趣、更有可玩性。

究其根本,一个会自主演化的世界,能给人以更强的鲜活感——哪怕是硬性填充再多的 NPC 数量,或抑或把环境做的再「拟真」,一个不会变化,永远没有意外的世界,永远不是「活的」。

而在让世界变得鲜活这件事上,LingBot-World 2.0 已经展现出了一些略显粗浅,但非常有趣的成效。

一个新的世界生成了,然后呢?

世界模型已经热闹了大半年了,但大部分选手都还没有摸索清楚商业化的路径。

最直接的场景,看起来是游戏。对于游戏开发者来说,几秒钟生成一个可交互世界的效率还是非常有吸引力的。无论是独立游戏团队,还是在大工作室里争抢开发资源的策划,通过 LingBot-World 2.0 这样的世界模型来快速生成原型,验证理念效果,的确令人看到了可行性。

与此同时,更长线的商业前景在于具身智能和自动驾驶。用世界模型快速生成的仿真环境,特别是借助 LingBot-World 2.0 的事件引擎能力,来快速生成新的事件,都能有效提升具身智能模型的训练效率。

另外,视频创作也能或多或少用上世界模型。今天的视频生成片段大多限制在十几到几十秒,而世界模型理论上能够输出更长的素材,至少可以作为空镜、填充素材来使用。

特别是那种即便连视频模型不一定能够理解的反逻辑场景——比如在赛博朋克的世界里扮演中世纪巫师,或者在南极扮演一把办公椅……用世界模型来生成可能会有奇效。

当然如果你的创意水平和执行能力够强,或者你有自己开发 Harness 的能力的话,用 LingBot-World 2.0 这样的无边界模型来生成长镜头,甚至一条完整的视频,也是很有搞头的。

总的来说,世界模型火了这么一段时间过后,前沿选手都已看起来以假乱真,但是一旦真正「运行」起来,时长、可交互性就显出差距了。

和知名世界模型团队相比,蚂蚁灵波既不是 Genie 那样的纯自回归,也非 World Labs 那样的 3D 重建。

它的思路是将因果扩散模型当成物理引擎,用 Agentic Harness ——也就是前述的双 Agent/ 大小脑架构作为神经系统;除此之外,一些聪明的工程决策,也让 LingBot-World 2.0 在更加均衡的算力负载下,能够远超过去世界模型的持续时长。

这个模型在今天取得了 SOTA 成绩,而与此同时,无论是国内多家团队,还是国际上的 Genie 3、AMI、World Labs,每家都在用自己的方式回答相似的问题。

世界模型的技术范式尚未进入收敛的阶段,接下来半年到一年里,我们可能还会看到更多有趣的尝试。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

开源 技能 活着 google 阿里
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论