英伟达(NVIDIA)的Vera CPU继续在智能体AI(Agentic AI)工作负载中展现其强大的单核性能,这一点已由Daytona的演示所证明。

NVIDIA-Vera-CPU.jpeg

英伟达Vera在最新智能体AI基准测试中力压AMD(AMD)EPYC,这款Arm CPU性能达到x86的8倍。

Daytona是一个专为AI生成代码执行和智能体工作流打造的运行时环境。该团队分享了最新基准测试结果,将英伟达Vera CPU与AMD EPYC“Zen 5”芯片进行对比,以探究Vera的架构如何为智能体沙箱带来优势,结果令人大开眼界。

正如我们多年来所了解的那样,智能体AI工作流依赖强大的CPU基础设施。在智能体AI时代,从GPU向CPU的转变意义重大,随着横跨文件系统、依赖项、Shell和测试的工作负载成为新AI市场的核心舞台,CPU必须以快速、高效的方式设计,方能支持这类工作流。

英伟达Vera CPU在设计之初就将AI置于首位,这一点在基准测试中得到了体现。Daytona团队在“大规模集群”的Daytona沙箱上,使用相同的编程智能体任务测量了这些芯片在智能体工作流中的性能。这些CPU不仅要支持大量沙箱,还必须快速启动它们,这一点至关重要。

在测试中,英伟达Vera CPU达到了每秒完成13.3个智能体任务的峰值吞吐量。更重要的是,它能在短短10秒内(10.8秒)将1000个沙箱上线,并在27秒内将2000个沙箱上线。相比之下,AMD的EPYC“Zen 5”芯片需要88秒才能将1000个沙箱上线。这意味着沙箱上线时间实现了8倍加速。

现在,Vera更快的单核性能在此显得尤为重要。对比中使用的基准AMD EPYC Zen 5芯片为EPYC 9755,其在88.4秒内将1000个沙箱上线。频率更高的EPYC 9575F芯片则能在32.3秒内完成同样任务。

AMD凭借更高频率的芯片实现了更快的性能,但Vera依然保持领先,这得益于其单核性能优于Zen 5架构。Vera CPU将2000个沙箱上线所需的时间,比Zen 5将1000个沙箱上线还要短,这是一次大幅提速。

此后,AMD发布了Zen 6 EPYC CPU,预计在相同的智能体AI工作负载中能提供更好的结果,因为这是其重点发力领域之一。但Vera无疑是英伟达在智能体AI领域相较其Grace CPU的一次重大升级,性能超越Zen 5,并能与Zen 6芯片一较高下。

  • EPYC 9575F:稳定在约每秒8个智能体任务

  • EPYC 9755:稳定在约每秒11个智能体任务

  • 英伟达Vera:达到每秒13.3个智能体任务,并在2000个沙箱规模下仍保持在接近13的水平

Daytona分享的另一个有趣指标是每台机器的吞吐量,这涉及维持这些工作负载所需的机器数量。要每秒完成1000个任务,英伟达的Vera平台所需的机器数量比EPYC 9755少15%,比EPYC 9575F CPU少38%。

这进一步优化了总拥有成本(TCO),Vera让企业能以更少的服务器完成更多工作,降低功耗、减少冷却需求,并削减搭建大规模AI工厂的成本。或者,你也可以在同等基础设施投入下实现比竞争对手更高的吞吐量。

“我感兴趣的数字不是峰值,而是机器满载之后的表现。Vera在扩展到2000个沙箱的过程中,始终以几乎相同的速率运行智能体工作负载。它会稍微变慢,但保持稳定,而不是崩溃。单台机器上运行数千个智能体,Vera让它们保持存活。这才是关键所在。”——Vedran Jukić,联合创始人兼首席技术官

智能体正在将基础设施变成一个密度问题:每个智能体都需要自己的文件系统、工具和环境,而这些环境必须以数千为单位创建,并在共享硬件上保持高效运转。

在这一衡量标准上,英伟达Vera表现突出。它在10.8秒内将1000个Daytona沙箱上线,27.4秒内将2000个沙箱上线,随后在2000个并发沙箱下仍能维持接近每秒13个智能体任务的完成量——在相同工作量下,所需机器数量比EPYC 9755少约15%,比9575F少约38%。


文章标签: #英伟达 #VeraCPU #智能体AI #AMD #CPU
菠萝老师先生

负责编辑

  菠萝老师先生 

  让你的每一个瞬间都充满意义地生活,因为在生命的尽头,衡量的不是你活了多少年,而是你如何度过这些年。