过去几年间,大量新技术对游戏行业产生了深远影响。凭借DLSS超分辨率技术(DLSS Super Resolution),英伟达(NVIDIA)为其他超分技术铺平了道路,比如PlayStation自家的PSSR和QSSR;而帧生成技术则让玩家更容易体验到高帧率,但这种流畅感仅停留在感知层面,因为真正决定游戏流畅度的是基础帧率。时至今日,这仍是帧生成技术的头号难题,此外还有生成帧与渲染帧插值混合所导致的画质问题。

PlayStation-Frame-Prediction-Tech-scaled.jpeg

PlayStation深知输入延迟问题只能靠英伟达Reflex这类技术来缓解,而该公司似乎正打算通过一项新专利中详述的帧预测技术来解决这些问题。

CD Projekt Red曾在《猎魔人3》中推行路径追踪,但一款新模组允许玩家自行选择其运行范围。根据Patentlyze发现、索尼(Sony)于10月15日提交的专利摘要:“帧生成超采样可包括:从图像流中的第一图像帧生成图像帧嵌入,并利用图像流中第一图像的图像帧嵌入来预测图像流中的合成第二图像帧。该合成第二图像在图像流中显示于第一图像帧之后。”

表面上看,这与英伟达DLSS帧生成等技术似乎差别不大,但实际上截然不同。帧生成是“在显示之前,将机器学习模型生成的合成帧插入到GPU渲染的最后一帧与其前一帧之间”,而PlayStation的专利技术则是根据玩家的预期输入来预测下一帧,其原理与现代格斗游戏如《街头霸王6》(Street Fighter 6)中使用的回滚网络代码相同,只是复杂度完全不在一个层级。

专利解释道:“此处的用户输入可与输入的最后图像的生成同时进行(例如在15毫秒内),或在最后图像帧生成前不久进行(例如在显示前大于15毫秒但小于两秒)。其思路是将用户输入与图像帧的生成绑定;例如,当游戏中玩家按下跳跃按钮时,接下来几帧将是跳跃动画帧,编码器可以学习到这一点。”

这项技术本质上是一种算法帧生成,如果实现得当,有望大幅削减输入延迟。“算法帧生成使用算法而非机器学习和神经网络来生成合成帧。根据本公开的各方面,算法帧生成可以使用运动矢量,或使用真实的上一帧与真实的最后一帧。”

最终,PlayStation这项专利帧预测技术将使用编码器读取渲染帧、可选的运动矢量和手柄输入,然后由解码器输出一个生成帧,在下一次真实帧到来之前显示,并通过生成多个未来帧来覆盖多种可能情况。为降低预测错误的风险,系统还设有非AI的兜底方案。

有趣的是,该专利并未详述超出当前游戏系统之外的额外硬件需求,因此这项技术有可能部署在当前世代的主机上。不过,鉴于系统的复杂性,以及在快节奏动作游戏或竞技射击游戏中反复预测失败会带来糟糕体验,我们短期内不太可能看到帧预测技术落地。

尽管如此,这项PlayStation新技术听起来仍然非常有趣,与该公司正在研发的其他技术不相上下,包括一项能实时改写敌人行为的技术;如果实现得当,它有望在4K分辨率下带来极其流畅的游戏体验。如同与之有诸多相似之处的回滚网络代码一样,这项技术很可能也会经历成长的阵痛,但绝对值得。


文章标签: #帧生成 #PlayStation #专利 #输入延迟 #帧预测
菠萝老师先生

负责编辑

  菠萝老师先生 

  让你的每一个瞬间都充满意义地生活,因为在生命的尽头,衡量的不是你活了多少年,而是你如何度过这些年。