英伟达(NVIDIA)现已为全系GeForce RTX显卡提供TensorRT AI加速支持,其性能较DirectML实现翻倍提升。该公司今日宣布将TensorRT推理后端引入RTX平台,普通消费者通过该优化方案可获得更强劲的AI运算能力。
相较于DirectML,TensorRT在AI应用中可实现最高2倍的性能跃升。值得注意的是,Windows ML已原生支持TensorRT,且TensorRT-LLM早前已登陆Windows平台。
当前AI PC软件生态迫使开发者面临两难选择:要么采用硬件兼容广泛但性能低下的框架,要么维护仅支持特定硬件或模型类型的高性能优化方案。全新Windows ML推理框架的诞生正是为了解决这一困境——该框架基于ONNX Runtime构建,能够无缝对接各硬件厂商提供的优化AI执行层。对于GeForce RTX显卡,Windows ML将自动调用专为高性能快速部署优化的TensorRT推理库,相比DirectML可提升50%以上的AI任务处理速度。
Windows ML还为开发者带来诸多便利:自动匹配合适硬件运行AI功能、动态下载对应硬件执行组件,免除应用内打包这些文件的繁琐。这使得英伟达能够第一时间向用户推送最新TensorRT性能优化。得益于ONNX Runtime基础架构,Windows ML支持所有ONNX模型。
TensorRT for RTX的优势不仅限于性能表现。新版本推理库体积缩小至1/8,并支持按GPU进行即时优化。该方案将于6月登陆developer.nvidia.com,覆盖全系GeForce RTX显卡。
英伟达公布的性能对比图表显示:在ComfyUI中TensorRT可实现2倍性能提升,DaVinci Resolve与Vegas Pro亦有60%的增幅。这意味着更高效的AI运算流程,充分释放RTX显卡与RTX整机的潜能。
软件创新方面,英伟达本月还将为150余款AI软件开发套件带来5项全新ISV集成支持:
• LM Studio(最新CUDA提升30%性能)
• Topaz Video AI(CUDA加速生成式AI视频)
• 哔哩哔哩(NVIDIA广播特效)
• AutoDesk VRED(DLSS 4)
• Chaos Enscape(DLSS 4)
此外,英伟达推出全新NIM微服务与AI蓝图,包含为Project G-Assist打造的Discord、Gemini、IFTTT、Twitch、Spotify及SignalRGB等插件集成。用户还可通过NVIDIA/G-Assist自行开发定制插件。