AMD在I3D研讨会上展示了一项名为PEPS的新研究,题为《PEPS:位置编码投影采样》(PEPS: Positional Encoding Projected Sampling),该研究引入了一种新的位置编码方法,能够提升神经纹理压缩的效果。

amd-peps-research-boosts-neural-texture-compression-with-25-percent-fewer-parameters.jpeg

神经纹理压缩是如何工作的

神经纹理压缩(Neural Texture Compression)通过训练所谓的INR(隐式神经表示,Implicit Neural Representations)来学习坐标到信号的函数。通过将纹理坐标投影到更高维度的嵌入空间,并将这些信息输入一个多层感知机,就可以高效地表示和压缩纹理。

PEPS:位置编码投影采样

PEPS(Positional Encoding Projected Sampling)通过改变位置编码的使用方式,引入了一种新方法来提升此过程的效率。通常,位置编码会将低维坐标投影到高维的正弦/余弦向量中。PEPS在此基础上更进一步,它将每个正弦/余弦投影视为利萨如图形(Lissajous curve)上的一个点,然后在那些投影点上对编码器/网格进行采样,从而增加了INR所表征的信息量。

这里的权衡之处在于,这种尺寸缩减是以增加计算开销为代价的。在AMD9070 XT上的测试中,生成一幅1024×1024的三通道纹理,时间从双线性网格(BI-grid)基准的4.32毫秒增加到了Grid-PEPS版本的5.47毫秒,而进一步优化的Grid-PinkPEPS版本则将其降至4.86毫秒。这种性能损耗可以解释为,PEPS引入的额外采样需要更多的计算量和内存访问。

PEPS在神经纹理压缩之外的应用

除了神经纹理压缩,这项新技术在SDF(符号距离函数,Signed Distance Function,用于3D渲染)领域也有应用潜力。众所周知,SDF需要高分辨率网格,这会占用大量显存,因此通过轻量级神经压缩模型来优化内存使用至关重要。在对Pitted Stonefish SDF进行测试时,Grid-PEPS能够大致匹配非PEPS方法(使用8倍编码器参数)的IoU(交并比,Intersection Over Union,即重建3D形状与原始形状的重叠精度)。

对FSR套件的影响:暂时别指望能在你的Radeon GPU上运行它

虽然从技术角度看,这项研究无疑很有趣,但很难判断它何时会对消费者产生影响。目前,只有英伟达(NVIDIA)有任何形式公开可用的神经纹理压缩工具包或演示,并且市面上没有一款游戏实现了完整的NTC(神经纹理压缩,Neural Texture Compression)。在AMD方面,支持甚至更为稀少——事实上,AMD甚至还没有正式为其想出一个品牌名称;在他们所有的研究中,都使用通用术语来指代这项技术。无论如何,很高兴看到这个领域取得了进展,尤其是在内存末日(RAMpocalypse)确保未来几年内我们仍会见到8GB显卡的情况下。


文章标签: #AMD #神经纹理压缩 #位置编码 #图形学 #隐式神经表示

负责编辑

  菠萝老师先生 

  让你的每一个瞬间都充满意义地生活,因为在生命的尽头,衡量的不是你活了多少年,而是你如何度过这些年。