英伟达（NVIDIA）的Vera Rubin平台以远低于Blackwell的成本提供了颠覆性的Token吞吐量，充分展现了其在智能体AI（Agentic AI）领域的强大实力。
英伟达软件栈优化持续推动Blackwell发展，但Vera Rubin在智能体AI用例中完全处于另一个级别
最新的硅上智能体AI性能结果由英伟达使用真实世界的智能体编码轨迹测量得出。基准测试采用的是SemiAnalysis AgentX，该基准测试用于评估AI基础设施（如Vera Rubin）在Kimi K3、MiniMax M3、GLM5.3、Qwen3.5和深度求索（DeepSeek）V4 Pro等多种模型上的智能体编码推理负载。
以下表格解释了AgentX的关键指标：
E2E归一化交互性：整个请求期间每用户的平均输出Token速率，通过将总输出Token数除以从请求提交到最终Token交付的时间计算得出。显示平台在给定的端到端体验下，每兆瓦能为用户提供多少可见输出（包括首Token时间）。越高越好。
标准交互性：仅生成过程中的每用户Token速率，计算方法为输出Token数除以从首Token到末Token的经过时间。显示一旦生成开始，平台每兆瓦能流式输出多少内容（不包括首Token时间）。越高越好。
E2E延迟：单个请求的总经过时间，从提交到最终输出Token到达的测量时间。测试每兆瓦吞吐率结果是否可用：如果请求完成时间过长，高效率也无济于事。越低越好。
TTFT（首Token时间）：从提交到第一个输出Token到达的经过时间。显示高能效吞吐量是否与快速首响应相匹配，这在智能体频繁开始长上下文轮次时至关重要。越低越好。
首先来看英伟达Blackwell的结果。一台GB300 NVL72“Grace Blackwell”服务器在DeepSeek-v4-PRO 1.6T上，每MW吞吐量是H200 NVL8“Hopper”解决方案的15倍。Blackwell方案在相同功耗预算内，可维持更高且响应更快的智能体推理吞吐量。
与此同时，英伟达Blackwell的每百万Token成本也比前代产品降低10倍。更低的总体拥有成本（TCO）意味着AI运营商可以在相同的功耗和基础设施预算内支持更多智能体容量，或以更低的运营成本交付同等容量。
更令人印象深刻的是，Blackwell在模型规模扩展时表现极为出色。使用Kimi K3 2.8T时，Blackwell方案的每MW吞吐量比Hopper提升了80倍，交互性方面保持了每用户每秒215个Token，远超Hopper方案的能力范围。
Blackwell部分告一段落，现在来看看智能体AI与推理的下一个篇章：Vera Rubin。
英伟达Vera Rubin NVL72平台在DeepSeek-v4-PRO 1.6T中，吞吐量相比Grace Blackwell NVL72实现了30倍的惊人提升。在每用户每秒约160个Token的交互性水平下，Vera Rubin轻松超越Grace Blackwell，并实现了高达每用户每秒约280个Token的成绩，而Blackwell的峰值低于每用户每秒180个Token。
在智能体编码负载方面，Vera Rubin相比Blackwell还显著降低了Token成本。每百万Token成本降低35倍，表明NVL72可以在广泛的负载类型中，大规模持续运行多个智能体。借助英伟达DSX MaxLPS等跨GPU、机架和工作负载级别管理功耗的技术，AI工厂可在相同的兆瓦预算内多部署高达40%的GPU。
此外，这些基准测试尚未反映Vera CPU在工具调用方面的性能，且仅聚焦于Vera Rubin芯片本身，而非完整的“极限协同设计（Extreme Codesign）”7芯片平台。因此，随着更多Vera Rubin平台上线，我们将在AI智能体和推理方面看到更令人瞩目的成果。尽管如此，英伟达现已全面投产其所有AI解决方案，包括Vera CPU、Rubin GPU、Vera Rubin服务器、Groq 3 LPX芯片以及全系列网络技术。
