Nvidia 的 DLSS 5 解释

Nvidia 知道 DLSS 5 给人留下了不好的第一印象。今年 3 月，许多游戏玩家看了一眼《生化危机安魂曲》主角格蕾丝·阿什克罗夫特 (Grace Ashcroft) 的 DLSS 5 化面孔，并称其为 AI 败笔。因此，本周，该公司重新推出了其备受争议的“神经渲染”，并明确传达了它如何“保留艺术意图”、“尊重渲染帧”以及如何让游戏开发者完全控制。现在，在 9 月 3 日发布之前，通过我们的 Nvidia 官方简报以及对泄露到网络上的版本的一些实践时间，我们认为我们终于了解了情况。这是发生的事情。批评者并没有错：DLSS 5 很大程度上是视频游戏的生成式 AI 过滤器。有点像手机上的相机滤镜，DLSS 5 在 3D 游戏引擎吐出实时 2D 图像流后对其进行分析和修改。如果运用不当，确实会让游戏角色看起来很糟糕，就像一瞬间老了20岁一样。它使用大量的 GPU 能力，并且可以轻松地将帧速率降低一半——即使应用得好，你也可能会说现有的游戏在没有它的情况下看起来会更好。但当我们想到生成式 AI 时，我们通常想到的并不是 DLSS 5。它不会改变形状，也不会在标志上产生幻觉文字，也不会在视野中放置全新的假物体。相反，它想象光、阴影、颜色和细节，使相同的形状看起来不同。 DLSS 5 可以使呆板、糊状的角色看起来更加逼真。它可以让他们的头发、衣服和附近的树叶充满真实的光线。它可以将角色、物体和衣服磨碎，这样它们看起来就不会漂浮在视频游戏表面上。这是我在《Yakuza Kiwami》中拍摄的一个例子：打开 DLSS，看看每个角色下方的接触阴影如何让他们看起来像是真的站在地面上？ DLSS 5 关闭。截图由 Sean Hollister / The Verge DLSS 5 提供。屏幕截图由 Sean Hollister / The Verge 提供（在这个故事的后面，你应该真正看看 Cade Cunningham 的球衣如何在他的视频游戏身体上投射阴影，因此看起来更像是他穿着它。）与 AI 生成的照片和视频不同，通常在相同的提示下会产生不同的结果，Nvidia 声称 DLSS 5 是确定性的，因此游戏每次看起来都应该相同。 DLSS 5 也不是一刀切的。不管听起来如何，“DLSS 5 On”和“DLSS 5 Off”不仅仅是一个开关。开发人员（显然还有改装者）可以拖动各种滑块来改变 DLSS 5 如何处理颜色和光线，并且他们在发布时可以使用三种不同的 AI 模型，为您的图形提供“默认”、“自然”或“电影”外观。另外，开发人员可以决定是否应用 DLSS 5 场景中的所有内容，只是角色的脸部和皮肤、树叶、银器或家具，甚至只是食物。你是说游戏工作室可以不理会角色面孔？是的。该工具集可以像在 Photoshop 中一样自动剪切出蒙版，以将角色的脸部和皮肤与其他所有东西隔离开来：自动蒙版可以精确地选择该角色的脸部，以便游戏开发人员可以对其进行增强，或者确保它不受影响。图片：Nvidia 如果开发人员不喜欢自动遮罩，他们可以自己剪掉一个。这就是上图中的“开发人员屏蔽”小复选框。 Nvidia 实时内容技术总监 Gabriele Leone 表示：“他们可以实施多少个掩码、多少个组，没有任何限制。”游戏工作室真的会保留这些面孔吗？可能不是！第一款勇敢地采用这项技术的游戏是《NBA 2K27》，我怀疑这是因为凯德·坎宁安实际上看起来更好一些，他有细致的皮肤、看起来不粘在身体上的制服，以及他眼睛里更多的光芒。亲自看看 Nvidia 的图像：那个篮球也是如此，现在它的大部分细节都在阴影中，是不是感觉更加逼真了？但是自从改装者掌握了这项技术以来，DLSStelle 和我见过的所有其他可怕的人工智能面孔又如何呢？真是丧心病狂。但这些游戏应该看起来像动画，而且它们的创作者肯定不会对它们做这样的事情，对吧？正确的？？ “GeForce 的灵魂和目标是在实时渲染中实现照片级真实感，”Nvidia 应用深度学习总监 Edward Liu 告诉记者。具有更现实艺术风格的游戏看起来也不会这么糟糕。但如果滑块设置得太激进，即使是现实的游戏也会看起来错误。你所说的“过于激进”是什么意思？我敢打赌，如果您看到泄露的 DLSS 5 修改了现有游戏，那么非官方的 DLSS 5 mod 被设置为其默认强度约 80% 甚至更高。一些创作者甚至会将其调至 200%，以使“DLSS 打开”和“DLSS 关闭”之间的差异特别明显。但我相信，对于许多现有游戏来说，即使 80% 也显得过于激进。感觉就像你通过风化他们的皮肤并加深皱纹来人为地使角色老化