谷歌与英伟达合作，为用户提供多达100万块英伟达GPU的访问权限，以驱动其最新推出的A5X实例。这一消息是双方最新合作的一部分，旨在降低推理成本并提高吞吐量。他们的A5X系统依赖于英伟达的网络加速器，能够为AI工作负载构建单集群和多集群计算基础设施。
A5X实例：为智能体AI工作负载量身打造
A5X实例是谷歌的最新成果，专为运行智能体人工智能工作负载而设计。它们是谷歌AI超级计算机系列产品的一部分，该系列也为公司的Gemini平台以及面向消费者和企业的AI产品提供支持。作为最新公告的一部分，谷歌宣布对超级计算机进行一系列升级，其中包括由定制Arm架构CPU驱动的全新虚拟机、第八代张量处理器、本地PyTorch TPU支持以及A5X实例。
这些新功能专为智能体AI工作负载而设计，这类工作负载依赖一组AI代理，以分步方式解决特定问题或任务。A5X实例是谷歌首款为英伟达最新的Vera Rubin AI GPU而设计的产品。
谷歌Virgo与ConnectX-9：扩展至百万颗Vera Rubin GPU
根据详情，A5X将使用英伟达ConnectX-9网卡，该网卡旨在加速基于以太网的云基础设施中的AI工作负载。这些网卡与谷歌的Virgo平台相结合，将允许用户在单集群中访问多达80,000颗Rubin GPU，在多站点集群中访问多达960,000颗GPU。
在硬件架构方面，英伟达Vera Rubin GPU在单数据中心集群中最多可达80,000颗，在多站点集群中可达960,000颗；谷歌定制TPU则分别支持134,000颗和超过100万颗。网络骨干方面，单集群使用英伟达ConnectX-9网卡，多站点集群使用谷歌Virgo平台。
投资回报：推理成本降低10倍，吞吐量更高
谷歌的Virgo平台使其能够在一个数据中心内连接多颗AI芯片。除了与英伟达的Rubin GPU配合使用外，它还支持谷歌的张量处理单元（TPU）。Virgo可以在单个数据中心内连接多达134,000颗TPU，并在多个站点间连接超过100万颗芯片。据英伟达称，与上一代产品相比，A5X实例能够将每令牌推理成本降低10倍，并将每兆瓦吞吐量提高10倍。
英伟达还简要提到了物理和工业AI，指出来自楷登电子（Cadence）和西门子（Siemens）等公司的产品通过其基础设施提供支持，并已在谷歌云上可用。该公司补充说，谷歌的Gemini平台也可以在网络安全等行业部署智能体模型和工作流程。
