一水 发自 凹非寺量子位 | 公众号 QbitAI

不 er，印象中非常吃算力的「游戏世界模型」，居然就这样被塞进一张 RTX 5090 里了？！

而且身上还挂着两个非常诱人的标签：

国产、开源。

就在刚刚，昆仑万维旗下 Skywork AI 发布 Matrix-Game 4.0，据悉这是「全球首款可在单张消费级显卡上实时运行的游戏世界模型」。

快速翻到 Demo，坦白讲 480p 的画质确实还有提升空间，但再看几秒：

诶，不对劲！！

以前常见的游戏世界模型 Demo，是玩家按一下方向键，模型接着往前生成画面。世界能逛，场景会动，但底下究竟有没有一套真正运行的游戏，不太好说。

但 Matrix-Game 4.0 已经不太一样了。

玩家中弹，先掉的是盾牌耐久；盾碎了，才开始扣血；等血量归零，游戏真就结束了。

视频地址：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA

好家伙，原来不只是画面在动，背后的游戏逻辑也跟着跑起来了啊。

更离谱的是，这一整套没躺在什么豪华算力集群里。

就一张 RTX 5090。

按下键，不到 0.15 秒画面就有反应；一秒能跑 60 帧；整套系统占用显存峰值约 18.5GiB。

玩法甚至还能改。

让 Coding Agent 动动游戏代码，原本的计时赛，转眼就能变成拦截目标车辆的追击战。

一张卡，托起一局由 AI 实时画出来、又按代码规则运行的游戏。

怎么做到的？

给视频模型套上 Harness

这一次，Matrix-Game 4.0 没走寻常路。

团队给出的核心判断是：

与其让视频模型隐式记忆世界，不如让游戏引擎显式维护世界。

以谷歌 Genie 为代表的路线，率先让玩家走进 AI 实时生成的世界，走到哪里，模型就把画面生成到哪里。

但世界能逛，不等于游戏能玩。

画面偶尔多一棵树、少一扇窗，顶多让人出戏。可要是 NPC 的位置、玩家的血量、任务的输赢也由模型临场发挥，那还玩啥啊？？

所以比画面穿帮更麻烦的，其实是规则脱缰。

在团队看来，现阶段的视频生成更像一种「符际翻译」，负责把文字、动作和场景信息转成连续画面。

「画」这件事，视频模型确实擅长。

可过去常见的路线，偏要让它既记住整个世界，又算清游戏规则，还得不停往下生成画面。

好家伙，一个模型直接身兼数职，短时间还能撑住，时间一长你懂的。。。

△图片由 AI 生成

所以到了 Matrix-Game 4.0，团队干脆把活儿拆开：

游戏引擎负责把游戏跑对，视频模型负责把画面画好。

这么一拆，世界状态就不再藏在模型生成的像素里，而改由代码明确记录。

即使视觉生成偶尔出现偏差，也不会直接改写玩家血量、道具归属和任务进度等。

团队把这套思路概括为「给视频模型套上 Harness」：

1、玩家先用自然语言说出想法，Coding Agent 负责把它写成游戏代码；

2、游戏引擎当「裁判」，负责维护世界状态、执行游戏规则，并画出一份不会乱的结构草图；

3、视频模型则当「画师」，照着草图实时生成最终画面。

说白了就是，该确定的交给代码，该发挥的交给 AI。

至于这套分工效果如何，直接看 Demo。

最开始，引擎输出的还是一片由方块、骨架和简单地形组成的结构画面。

看着多少有点「毛坯房」的意思。

但人物在哪、道具在哪、谁在移动，已经交代得明明白白。

等视频模型接手，城堡、草地、材质和光影被实时补齐，刚才还是 3D 草模，转眼就成了完整的游戏画面。

画得出来是一方面，底下的规则也真在跑。

就拿盾牌来说，玩家拾取后，引擎会把它正式写进游戏状态。中弹时先扣盾牌耐久，盾牌失效后再扣角色血量；等血量归零，游戏结束。

视频模型负责把过程画出来，具体怎么结算，全由代码说了算。

更有意思的是，这些规则还能继续改。

想提高武器射速，直接用自然语言告诉 Coding Agent。

底层代码一改，武器的实际攻击逻辑也跟着变化。

一个对战场景，刚好把整套方法跑了一遍：

Coding Agent 负责改，引擎负责算，视频模型负责画。

AI 生成的世界，也由「看起来像游戏」，开始走向「真正按游戏规则运行」。

一张 RTX 5090，怎么把游戏跑起来？

思路捋顺了，下一关才是真正的硬骨头：

算力。

毕竟让视频模型实时画游戏，听起来就不像一张消费级显卡能扛住的活儿。

几乎同一时间，英伟达研究团队也发布了 StreamRender-H3，同样采用「代码运行世界、视频模型生成画面」的路线。

但其官方展示的部署配置，是 8 张 GB200 GPU。每个视频块采用两步去噪，每个流式生成步骤的扩散渲染耗时为 218ms。

这还只是扩散渲染阶段。算上视频块收集、解码和播放等环节，如果按照两个视频块形成一次完整反馈来计算，端到端延迟约为 545ms。

按这组数据粗略对照，Matrix-Game 4.0 从按键到画面显示约需 112ms，约为 StreamRender-H3 估算端到端延迟的五分之一；硬件配置则从 8 张 GB200，降到了一张 RTX 5090。

当然，两者的分辨率和延迟统计口径并不完全一致，不能直接排座次。

但从工程实现来看，单张消费级显卡能够跑到这个速度，已经足够有冲击力。

而这张卡，也不是突然就扛住了一切。

从 Matrix-Game 1.0 开始，团队一直在给游戏世界模型补课：

1.0 先让生成的世界听懂玩家操作，2.0 解决实时，3.0 补上长时记忆，3.5 继续稳住空间和角色。

到了 4.0，团队开始直面另一道题：

这个实时生成、还能记住的世界，什么时候才算一款游戏？

答案前面已经揭晓了，那就是把规则交给代码和游戏引擎。

但要让规则和画面在一张 RTX 5090 上同时跑，光是重新分工还不够。

还得从工程角度给整条链路减负。

第一减：减少模型需要自己猜的东西

第一步，是把生成任务变简单。

「凭空作画」？？NONONO，哪有「照着草图搞精装」来得省力。

为了教会模型这项本事，团队用 UE5 制作了一批成对数据：一边是结构画面，一边是对应的精细画面。

前者不管材质、光影这些花活儿，只保留场景结构、物体位置和运动轨迹，后者才是最终要生成的效果。

这么练下来，游戏引擎只要先把结构画面跑出来，视频模型就能照着补全材质、光影和环境细节。

但光有草图还不够。

同一个方块，到底是盾牌、NPC 还是路障，模型看不出来。

于是系统还会读取引擎提供的可见对象和实时状态，动态拼出 Caption，告诉模型画面里有什么、正在发生什么。

结构画面负责交代「在哪」，动态 Caption 负责说明「是什么、在干什么」。

好家伙，图纸和说明书都递到手里了。

这下，视频模型只管照着画。

第二减：减少模型需要自己记的东西

一张图画准了还不够，游戏得一直往下跑。

问题是，视频越长，历史画面就越多。

每次生成都让模型从头翻记录，不仅费劲，前面画歪的一点还可能被一路带下去。

不 er，关键画面直接递到眼前不香吗 ~

Matrix-Game 4.0 基于 Wan2.2 5B Fun Control 改造出了 V2V 模型，每次生成除了参考当前的结构画面，还会调用空间记忆参考图、用于衔接的首帧，以及缓存中的近期历史信息。

该在哪、长啥样、怎么接，全提示到位，画着画着跑偏的概率自然也就降下来了。

第三减：减少模型需要计算的东西

最后一刀，直接砍向计算量本身。

扩散模型生成画面，有点像从满屏噪点里反复修改，改一遍不够，再改几遍，直到画面成形。

游戏可等不了这么久。

团队通过少步自回归蒸馏，把这个过程压缩到只改 1 步或 2 步，而且一次只生成四帧。

算得快还不够，GPU 等着 CPU 下指令、历史数据来回搬运，同样会拖慢速度。

于是 CUDA Graph、FP8 融合算子、KV 环形缓存和轻量编解码器也全上了：

能少算一次就少算一次，能不搬的数据就别来回搬。

最终，文本编码器、DiT 和 VAE 全部常驻一张 RTX 5090。

单步去噪时，视频模型的稳态生成速度达到 83 FPS，两步去噪时约 57 FPS。

实际游戏以 60 FPS 运行，玩家按下按键后，不到 0.15 秒就能看到画面响应。

讲真，看到这里，我觉得单卡 60 帧真正狠的，已经不是「60」这个数字了。

以前只能躺在算力集群里跑的游戏世界模型，现在一张 RTX 5090，就能直接搬上开发者的桌面。

更绝的是，硬件门槛刚砍下来，昆仑万维转头又来了一记：

开源。

中国 AI 把开源卷到游戏世界模型

「开源」这个动作，放在游戏世界模型里，分量比想象中更重。

每次看到世界模型发布，我都会有种熟悉的感觉：

Demo 确实炸。

雪山、城市、沙漠随便生成，人物按下方向键就能往前走，视频在社交平台刷得满天飞。

然后呢？

然后就没了。

模型权重拿不到，推理代码看不见，开发者更别说下载到本地，改个规则、换个场景试试。

简单扫一眼行业就会发现，大多数玩家开放的是产品、API 或者研究演示，真正把模型和代码交到开发者手里的，还是少数。

所以 Matrix-Game 4.0 这波开源，主打一个用着不烧心（手动狗头）。

划重点，这还不是今天突然想「开」了，这家公司从 Matrix-Game 1.0 开始就一直走开源路线。

回头看，这么早就选择把技术摊开，感觉一个很重要的原因是：

世界模型赛道越来越热闹，技术路线却远远没有收敛。

有人继续押注视频生成，有人主攻 3D 空间，还有人重新请回游戏引擎。

看着都叫世界模型，底层解法其实已经越走越不一样。

唯一逐渐清晰的是，光会生成视频已经不够看了，世界得能进去、能交互，最好还能长期运行起来。

至于这一步到底怎么迈，各家还在疯狂试错。

也正因为没有标准答案，开源才有了用武之地。

模型往开发者手里一交，能不能复现、换个场景会不会翻车、还能整出什么新玩法，直接上手 roll 一遍。

好不好使，社区自然会给答案。

而这套打法，咱其实熟得不能再熟了。

大语言模型开源，多模态继续开源，现在以昆仑万维为代表的中国开源力量，顺着就卷到了游戏世界模型。

好家伙，一个新赛道刚热起来，熟悉的配方已经端上桌了。

当然，Matrix-Game 4.0 现在还只是个开始。

480p 画质确实谈不上多精细，距离更稳定、更长时间、更多人同时玩的 AI 世界，也还有一段路。

但路都还没定，答案当然也不能只让几家公司关起门来写。

谷歌 Genie 之后，国产玩家这次给出的解法是：

代码负责让世界守规矩，AI 负责把世界画出来。

一张 RTX 5090 就能跑，模型和代码也一起交了出来。

至于后面还能被开发者玩成什么样？

只能说：

Matrix-Game 4.0 大舞台，喜欢您就来。

【大舞台传送门】：

https://github.com/SkyworkAI/Matrix-Game

https://huggingface.co/Skywork/Matrix-Game-4.0

https://matrix-game-v4-0.github.io/page/