超能网 昨天
《NBA 2K27》DLSS 5体验:强调真实而不越界,游戏画面的又一次飞跃
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

本周,NVIDIA 正式发布了 DLSS 5,首发游戏是《NBA 2K27》。和 3 月时的犹抱琵琶半遮面不同,这次我们终于能真正上手去体验一下这项堪称突破性的新技术,这无疑是令人兴奋的。当然,因为某种机缘巧合,我知道大伙已经通过一些妙妙工具给各种各样的游戏都套上了 DLSS 5,而且有的游戏效果还不错,但是,正式版的游戏仍然是观察 DLSS 5 效果的最好手段。

DLSS 5的简单介绍

DLSS 5 的核心是 3D 引导神经网络渲染技术(3D-guided neural rendering,下面会简称为 DLSS 5 NR),该技术的目的是在有限的性能下面去达成尽可能逼真的画面。也许你会说 DLSS 超分辨率不就是拿来干这事的吗?对也不对,因为 DLSS 超分辨率仅仅是重建——接近原本应有的效果,但不会超过游戏引擎的上限。超分辨率并不是无中生有,而是有中生有。

DLSS 5 实际上是借助 AI 模型,在原有画面上进行创造。AI 生图我们都很熟,毕竟 Stable Diffusion 都是几年前的事情了。然而这里所说的这些模型又有些地方不太适合游戏——就算提示词一模一样,出来的图也许有所不同(通过调整 seed 等参数,我们可以做到输出十张一模一样的图,但这跟本文没啥关系,这里就不展开了),而游戏的场景是稳定,有着一致艺术风格的;然后就是性能问题,帧率对于游戏来说很重要,不可否认 RTX 50 系列现在有帧生成,但基础的帧率总得确保。

下面来看看 DLSS 5 是怎么做的。DLSS 5 仅接受游戏引擎渲染的 RGB 图像作为输入。但是在训练时,NVIDIA 引入了 albedo、表面法线等信息作为监督,这样模型就会学习到场景中哪些东西是不能乱改的。其实从这里你可以知道一点,DLSS 5 本质上算是一种后处理。

然后,DLSS 5 还用了 Pixel Space Diffusion(像素空间扩散)。一般的 AI 生图模型会经历一个编码 - 潜空间生成 - 解码的过程,生成中间可能会出现一些偏差。而 Pixel Space Diffusion 则是直接在 RGB 图像上施工,这同样确保了生成图像和原图像的相似,NVIDIA 甚至表示,即便是锯齿也能保留下来。

不过 Pixel Space Diffusion 有一个比较影响性能的问题:因为它直接在 RGB 图像上操作,高分辨率会造成性能上的挑战。说起来 NVIDIA 和罗切斯特大学在去年提出了一款叫 PixelDiT 的图像生成模型,也是 Pixel Space Diffusion 模型,现在看来应该算是 DLSS 5 的铺垫吧?

而对于能改(增强)的东西,DLSS 5 则用了一个专用的网络,这个网络只需要增强光照和材质这些内容,体积会比 Stable Diffusion 这些一般的 AI 生图模型更小,速度也更快——因为渲染器已经绘制好了图像,DLSS 5 只需要在此基础上操作,而 AI 生图模型要从零,或者说一张噪声图开始。

好了,很显然,我们已经聊到了速度问题。

DLSS 5 还采用了单步扩散推理,这比一般的 AI 生图模型要少得多(举个例子,Z-Image-Turbo 要 8 步)。不过 NVIDIA 也提到,虽然在一般模型身上,步数更多质量会更好,但是 DLSS 5 是个特化模型,步数的增加未必能带来明显的提升。

DLSS 5 的架构是 Transformer,和 DLSS 4 超分辨率一脉相承,在 RTX 系列显卡上有着成熟的软件优化。在设计时,NVIDIA 结合了神经架构搜索和定向消融,找出了在 Tensor Core 上兼顾质量和效率的网络架构。此外,Tensor Memory Accelerator(张量内存加速器,TMA)解决了传输问题,提高了 Tensor Core 的计算密度。

不过目前 DLSS 5 并没有采用 NVFP4 这种新格式,大多数的 GEMM 和注意力操作使用的是 FP8。少部分 GEMM 使用 FP16。NVIDIA 表示,对于功能一样的模块,FP8 的推理速度是 FP16 的两倍。

NVIDIA 还披露了 DLSS 5 的参数:1.54 亿的 Transformer 模型,听上去很大?让我们用 AI 模型的常用计数单位再说一遍好了:0.154B,这样听起来是不是迷你多了?所以也不用太担心显存。

另外,DLSS 5 和视频生成模型有一点不同的是,它采用了逐帧流式推理。也就是说接收到一帧,就会处理输出一帧,不去考虑更后面的帧。这有两个好处,一是很适合游戏场景,AI 是无法预测玩家接下来的行动的;二则是和生成速度有关,一帧出入延迟更低,而且处理单帧比多帧要耗费更少的显存。

虽然我还想说一下开发者对于 DLSS 5 的 AI 模型自定义能力,还有 A、B、C 三个模型的问题,但是时间实在不太足够,还好,GeForce 网站上面有关于这方面的详细介绍。而上面的内容则大多来自 NVIDIA Research 的论文《DLSS 5: Real-Time Generative Rendering》,这篇论文比 GeForce 网站来得更加详细,而我选取了一些大家可能感兴趣同时 GeForce 网站可能没有详细提及的内容作为介绍。

DLSS 5对画面的增强,和保留

《NBA 2K27》是一个关于打篮球的游戏,自然,我们需要把焦点集中在人物上,包括球员和场边的替补、教练、观众和摄影等。不过我个人对 NBA 这块是真不熟,所以球员这些有哪里说错了请见谅。

另外我需要说明一点,DLSS 5 的强度是由开发者进行控制的,游戏设置里只有开和关两档。我也不知道 2K 到底用了哪个模型,又设置了多少强度,因此下面的评论只针对《NBA 2K27》这款游戏,不应该视为 DLSS 5 的全部。

先来看看第一组截图,传奇黑曼巴,科比 · 布莱恩特。老实说,即使不放大,你也能看到 DLSS 5 带来的提升有多么巨大。光照像是被重做了一样,令科比的脸部、手臂都更为立体。在 DLSS 5 的加持下,游戏截图看起来栩栩如生,如果开了景深、截取部分区域画面、再加点滤镜的话,不说还以为是哪场比赛录像呢。Man,What can I say?

DLSS 5 ON

DLSS 5 OFF

当然,DLSS 5 的效果是套用在整个画面上的,这里我们放大看这个篮球。篮球的明暗对比更加明显,立体感增强不少。还有,注意科比的手和篮球接触的位置,DLSS 5 增加了更真实的遮蔽阴影,拥有柔和平滑的过渡,非常棒。

最后我想说一下 DLSS 5 的保留,这点对于理解 DLSS 5 挺重要的。在这里我们进一步放大,看看科比的裤子部分。你会注意到裤子的精细度,或者说分辨率本身其实没有变动,DLSS 5 只是增强了打光,让裤子显得立体。而右下角那种奇怪的折叠是因为布料模拟计算造成的,DLSS 5 的 AI 没有去改动,而是把这种结构保留了下来。

接下来是詹皇,勒布朗 · 詹姆斯。除了我们刚才已经说到的脸部、手臂和篮球部分的增强外,这里我想请大家仔细看看衣服上的细节。正如上面所说,衣服本身的精细度和结构是没有改动的,但 DLSS 5 显著增强了光照,这令上面因运动造成的皱褶更加明显、立体。

球鞋部分能进一步地看到 DLSS 5 的变和不变。这里我们放得很大,先看球鞋的鞋带、鞋口,还有鞋底的外沿部分,你会看到一些比较生硬的线条,在这些地方省多边形很正常(这毕竟不是二游),而 DLSS 5 忠实保留了这些结构,没有更改。然而 DLSS 5 又能给鞋带、鞋口加上遮蔽阴影,非常好玩。

下面我们再看看场边的情况,和球员相比,这些 NPC 不会投入太多资源——从他们的乏善可陈的衣服上可以看出这点,但只要摄像机对准,DLSS 5 仍然为他们增色不少。特别是第二组细节图里相机,DLSS 5 连相机模式拨盘的遮蔽阴影都给加上了,不得不服 AI 的注意力。

看了那么多截图,我知道肯定会有人在想,既然 DLSS 5 那么强,那么我直接把画质拉低,让 DLSS 5 顶上不就行了?嗯,这个想法是不错,但其实实现起来会有画质和性能两方面的问题,先说画质。

这是全低画质下的詹姆斯投篮,你能看到他的一切都是有棱有角的,材质分辨率也不高,整个画面有种梦回 PS4 早期的感觉。开了 DLSS 5 后,多边形结构、球衣上的 NBA 标志其实保持一致,就还是那么低。只是光照被加强了——看脸部,特别是额头、眼窝和嘴部;手掌,特别是食指和中指处,都很明显。

总的来说,低画质下的 DLSS 5 有种很奇妙的感觉,打个比方就是用现代技术做的复古画面游戏:多边形照旧,光源猛猛加。话说,要是真在老游戏上用 DLSS 5,那感觉应该会很奇特,就看这项技术什么时候加进 RTX Remix 了。

最后再通过街球模式说一些我在意的事情:DLSS 5 也并非万能的画面许愿机,如果游戏确实没做一些很基础的东西,那它也不会斗胆加上。下面这张截图能很明显地看到,开发者直接忽略了观众们的投影(但是静态的场景投影还在,bruh),只有球员是有影子的,那么 DLSS 5 也不会硬加上投影,不过观众的鞋子还是有遮蔽阴影的,这样看起来他们就不像是浮在空中了。

DLSS 5 的性能

测 试 平 台

 

CPU

AMD 锐龙 9 9950X

主板

微星 MPG B850M EDGE TI MAX WIFI

内存

美商海盗船 复仇者 RGB DDR5-6000 32GB CL30(16GB x2)

显卡

微星 GeForce RTX   5080 16G GAMING TRIO OC

微星 GeForce RTX 5070 12G World of Warcrafl MIDNIGHT VOID EDITION OC

微星 GeForce RTX 5060 Ti 8G GAMING   DUKE 3X OC PLUS

GeForce RTX 5060

硬盘

三星 990 Pro 1TB

金士顿 NV2 2TB

散热器

雅俊 GRATIFY AIO 5

电源

微星 MPG A1000GS PCIE5

软件配置

操作系统

Microsoft Windows 11 25H2

驱动

GeForce Game Ready 616.64

超 能 网   制 作

因为本次体验着重于画质考察,所以测试部分就比较简略了,仅用了四张卡,针对不同的分辨率。当然,不同设置的叠加效果如何,我们也会测一遍。不过你看图表也能推测出,这种情况下没有哪张卡能说得上是轻松扛住的。

虽说 DLSS 5 和 DLSS 超分辨率、光线重建这些是同源的,都用了 Transformer 架构,但是 DLSS 5 的焦点在于画面质量的提升,而非性能。这点直接把上面的截图和下面的图表结合在一起看就知道了。而且你会发现另一件事,DLSS 超分辨率对于 DLSS 5 的影响非常小,这是个先后顺序问题:因为 DLSS 5 是在渲染的最后一环对画面进行增强,而不是在 DLSS 超分辨率拉伸之前操作,所以全分辨率的画面会作为参数灌到模型里面。

具体建议嘛 ... 开个帧生成,就这么简单。反正 DLSS 5 目前也是 RTX 50 系列独占,实在决定不了开多少倍帧生成就用动态吧。

我们还特意测试了游戏画质降低对帧率的提升程度,其实影响不大,原因上面说了,而且你还要忍受有棱有角的球员建模,还不如直接开帧生成来得舒适。

总结:又一次画质飞跃

DLSS 5 无疑是继路径光追之后,实时渲染画质的又一次飞跃。得益于 DLSS 5 AI 模型的强度和 RTX 50 系列 Tensor Core 的高性能,在《NBA 2K27》中,比赛画面相当逼真,球员的精彩回放更是直逼实拍。不开玩笑,若是想怀念某位球星的黄金时代,直接开 DLSS 5 打场比赛就完事了,游戏录像做到比视频模型生成的短片还要真实是有可能的。而从球员的球鞋、街球模式的观众中可以看到,DLSS 5 也是有着自己的一套规则,是增强并非爆改。不过,这也会让人思考一个问题:如果 DLSS 5 在年货游戏上就已经有如此的效果,那用在开发多年,精心打磨的 3A 上会有多强大的画面提升?这真的令人期待。

然后是离不开的话题,性能。不得不承认,DLSS 5 非常耗费资源,和路径光追一样,帧生成是个必选项而不是可选项,而且想要帧率高还要开 3 倍、4 倍。哦对了,说到光线追踪,我们还要注意到一点,这次体验的《NBA 2K27》仅有光线追踪反射,如果是一些更吃 GPU 的游戏碰上 DLSS 5,那帧率也是很值得思考的一件事。不过,从 NVIDIA 的官方博客中可以知道,3 月时 DLSS 5 需要两张 RTX 5090 才能运行,这次只要是 RTX 50 系列都能运行了,证明 DLSS 5 的进化还是很迅速的。另外,他们还说了秋季还会推出一版性能更好的模型,这同样是值得期待的一点。

超能网公众号

扫码关注我们,浏览热门硬件评测

随时查看最新天梯榜

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

nba 效果 分辨率 神经网络 nvidia
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论