最近，NVIDIA 的 GeForce RTX 5090 显卡在推理性能上大放异彩，尤其是在运行 DeepSeek R1 模型时，表现远超 AMD 的 RX 7900 XTX。这一优势主要得益于其新一代的第五代 Tensor Cores。如今，借助 NVIDIA 的 RTX 显卡运行 DeepSeek 的推理模型变得非常简单，而且性能表现也相当出色。
目前来看，消费级显卡或许是运行高端大语言模型（LLM）的最佳选择之一。NVIDIA 和 AMD 都在努力为这些模型的本地运行提供支持。此前，AMD 展示了其 RDNA 3 旗舰显卡在 DeepSeek R1 模型上的性能，而 NVIDIA 也迅速做出了回应，通过其最新的 RTX Blackwell 系列显卡展示了强大的推理能力，尤其是 GeForce RTX 5090 的表现尤为突出。
在多个 DeepSeek R1 模型的测试中，GeForce RTX 5090 的表现明显优于 Radeon RX 7900 XTX 以及 NVIDIA 自家的上一代产品。RTX 5090 在 Distill Qwen 7b 和 Distill Llama 8b 模型中能够达到每秒 200 个标记的处理速度，几乎是 AMD RX 7900 XTX 的两倍。这充分展示了 NVIDIA 显卡在 AI 性能方面的强大实力。随着 NVIDIA“RTX on AI”技术的不断推进，未来我们有望在消费级电脑上更频繁地看到边缘 AI 的应用。
对于想要在 NVIDIA RTX 显卡上运行 DeepSeek R1 的用户来说，NVIDIA 已经发布了一篇详细的博客教程，指导用户如何轻松上手。操作过程非常简单，就像在互联网上运行普通的聊天机器人一样。此外，NVIDIA 还宣布，拥有 6710 亿参数的 DeepSeek-R1 模型（DeepSeek-R1）已经作为 NVIDIA NIM 微服务预览版上线（build.nvidia.com）。该微服务在单个 NVIDIA HGX H200 系统上能够实现每秒 3872 个标记的处理速度。
开发者可以测试并使用即将推出的可下载 NIM 微服务中的应用程序编程接口（API），这是 NVIDIA AI Enterprise 软件平台的一部分。DeepSeek-R1 NIM 微服务支持行业标准 API，简化了部署流程。企业可以在其首选的加速计算基础设施上运行该微服务，从而更好地保障数据安全和隐私。
借助 NVIDIA 的 NIM，开发者和爱好者可以在本地环境中轻松尝试 AI 模型。这意味着用户的数据将得到更好的保护，同时，如果硬件性能足够强大，本地运行还能提供更出色的性能表现。
