随着DLSS 4的发布,NVIDIA推出了一种全新的Transformer模型,该模型将在所有RTX系列的GPU上得到应用,涵盖了RTX 20、30、40以及50系列。
过去,NVIDIA一直依赖卷积神经网络(CNN)技术来为图像帧增加像素,这项技术在过去几年里虽有进步,但似乎已经达到了发展的瓶颈。如今,NVIDIA带来了DLSS Transformer模型,它将随着DLSS 4的推出,取代CNN,以带来更出色的视觉效果。
虽然多帧生成是RTX 50系列GPU独有的DLSS 4特性,但Transformer模型的应用范围却更为广泛,它也适用于之前的RTX系列GPU。正如NVIDIA在官方声明中提到的,以及由雅各布·弗里曼所证实的,Transformer模型将全面覆盖RTX 20、30、40和50系列的GPU。
这意味着,即便DLSS的多帧生成和帧生成功能仅限于RTX 50和40系列GPU,RTX 30和20系列的用户依然能够借助Transformer模型享受到“增强版”的DLSS射线重建和DLSS超级分辨率功能。据NVIDIA介绍,DLSS Transformer模型采用了视觉Transformer技术,能够对特定帧中的所有像素进行评估,并理解每个像素的重要性。这一过程会在多个帧中重复进行,从而生成更加精细的像素,以提升视觉效果。
采用这种方法,Transformer模型所使用的参数数量是CNN的两倍,这使得它在游戏中能够呈现出更佳的视觉效果,减少重影现象,并使边缘更加平滑。NVIDIA通过展示一些高要求游戏中的场景来证明这一点。例如,在《Alan Wake 2》这款游戏中,Transformer模型让射线重建的效果比使用CNN模型时更好。使用Transformer模型后,游戏中的网格稳定性得到了提升,闪烁现象也大幅减少。
在处理快速运动的场景时,如风扇叶片的细节展现上,CNN模型往往难以准确把握,导致清晰度不足。而Transformer模型的出现,则大幅减少了重影现象。在另一个例子中,使用Transformer模型后,电缆周围的闪烁现象也明显减轻。
总的来说,DLSS 4不仅提升了所有RTX GPU的性能,还引入了NVIDIA先进的Transformer模型,以增强视觉稳定性。值得一提的是,除了性能提升外,NVIDIA还强调了延迟降低的优势。这得益于被深度集成到DLSS 4中的Reflex技术。
Reflex 2技术即将为RTX 50系列GPU推出,以实现更进一步的延迟优化,但它也将适用于其他RTX系列的GPU。