英伟达(NVIDIA)现已为全系GeForce RTX显卡提供TensorRT AI加速支持,其性能较DirectML实现翻倍提升。该公司今日宣布将TensorRT推理后端引入RTX平台,普通消费者通过该优化方案可获得更强劲的AI运算能力。

Cover Image

相较于DirectML,TensorRT在AI应用中可实现最高2倍的性能跃升。值得注意的是,Windows ML已原生支持TensorRT,且TensorRT-LLM早前已登陆Windows平台。

当前AI PC软件生态迫使开发者面临两难选择:要么采用硬件兼容广泛但性能低下的框架,要么维护仅支持特定硬件或模型类型的高性能优化方案。全新Windows ML推理框架的诞生正是为了解决这一困境——该框架基于ONNX Runtime构建,能够无缝对接各硬件厂商提供的优化AI执行层。对于GeForce RTX显卡,Windows ML将自动调用专为高性能快速部署优化的TensorRT推理库,相比DirectML可提升50%以上的AI任务处理速度。

Windows ML还为开发者带来诸多便利:自动匹配合适硬件运行AI功能、动态下载对应硬件执行组件,免除应用内打包这些文件的繁琐。这使得英伟达能够第一时间向用户推送最新TensorRT性能优化。得益于ONNX Runtime基础架构,Windows ML支持所有ONNX模型。

TensorRT for RTX的优势不仅限于性能表现。新版本推理库体积缩小至1/8,并支持按GPU进行即时优化。该方案将于6月登陆developer.nvidia.com,覆盖全系GeForce RTX显卡。

英伟达公布的性能对比图表显示:在ComfyUI中TensorRT可实现2倍性能提升,DaVinci Resolve与Vegas Pro亦有60%的增幅。这意味着更高效的AI运算流程,充分释放RTX显卡与RTX整机的潜能。

软件创新方面,英伟达本月还将为150余款AI软件开发套件带来5项全新ISV集成支持:

• LM Studio(最新CUDA提升30%性能)

• Topaz Video AI(CUDA加速生成式AI视频)

• 哔哩哔哩(NVIDIA广播特效)

• AutoDesk VRED(DLSS 4)

• Chaos Enscape(DLSS 4)

此外,英伟达推出全新NIM微服务与AI蓝图,包含为Project G-Assist打造的Discord、Gemini、IFTTT、Twitch、Spotify及SignalRGB等插件集成。用户还可通过NVIDIA/G-Assist自行开发定制插件。


文章标签: #英伟达 #RTX #AI加速 #TensorRT #性能提升

负责编辑

  菠萝老师先生 

  让你的每一个瞬间都充满意义地生活,因为在生命的尽头,衡量的不是你活了多少年,而是你如何度过这些年。