一款新工具据称可将RTX 3090 Ti的BF16计算性能从87.5 TFLOPS提升至157 TFLOPS,同时将vLLM推理速度提升最高36%。开源项目“GPU Unlock”绕过英伟达(NVIDIA)对GeForce显卡的软件层面限制,解锁专业级计算能力。

rtx-3090-ti.jpeg

一种绕过英伟达对消费级GeForce显卡软件限制的新方法已被破解。这一成果来自一个名为“GPU Unlock”的开源项目,它能让显卡获得更高的半精度浮点计算性能——这类性能通常只有专业工作站显卡才能使用。

据该项目开发者“zagitta”介绍,英伟达对消费级GeForce显卡限制了部分计算能力和虚拟GPU(vGPU)功能,尽管这些显卡与专业工作站显卡采用相同的GPU架构。英伟达将这些能力保留给价格更高的Quadro、Tesla和RTX A系列显卡。然而,这个新项目采用了与传统驱动不同的思路。

“GPU Unlock”在Linux内核中动态修补英伟达驱动模块,拦截对GPU物理PCIe设备ID的请求,然后将返回的标识符替换为兼容的专业显卡ID。这基本上欺骗驱动,让其将消费级GeForce显卡识别为专业级英伟达显卡,从而绕过限制并解锁额外的计算能力。

据开发者称,性能提升相当可观。在Ampere架构的GeForce RTX 3090 Ti上,BF16计算性能从87.5 TFLOPS提升至高达157 TFLOPS,涨幅达80%。TF32性能也几乎翻倍,从42.6 TFLOPS升至82.6 TFLOPS。据报道,GeForce RTX 3080同样受益,其FP16/BF16性能从65 TFLOPS提升至110至113 TFLOPS,同时保持默认320W功耗限制。

这些优势在vLLM推理引擎中也有所体现:该工具在长上下文预填充处理速度上解锁了33%至36%的额外性能,并将首词元延迟降低了25%。不过,解码性能基本保持不变,因为该技术并未解决内存带宽瓶颈。

尽管如此,“GPU Unlock”目前仅支持Linux系统,适用于GeForce GTX 900、GTX 1000、RTX 20和RTX 30系列显卡,而RTX 40和RTX 50系列显卡尚不支持。


文章标签: #英伟达 #显卡解锁 #开源项目 #性能提升 #Linux
菠萝老师先生

负责编辑

  菠萝老师先生 

  让你的每一个瞬间都充满意义地生活,因为在生命的尽头,衡量的不是你活了多少年,而是你如何度过这些年。