英伟达（NVIDIA）的Blackwell GB200 NVL72人工智能机架已在混合专家模型环境中完成测试。一份报告显示，其性能远超AMD的Instinct MI355X。
英伟达的“极限协同设计”法则使其在混合专家模型架构领域占据优势，进一步拉开了与AMD的差距。人工智能模型正迅速转向以混合专家模型为中心的格局，主要原因是该架构能更高效地利用计算资源。然而，与稠密模型相比，扩展混合专家模型会带来巨大的计算瓶颈。由于混合专家模型专注于运行被称为“专家”的独立子网络，它需要在节点之间进行大量的全对全通信和数据传输，这会导致延迟问题和带宽压力。超大规模服务商正在寻求最佳性价比的解决方案。根据Signal65的分析，英伟达的GB200 NVL72是混合专家模型架构的首选。
报告引用了SemiAnalysis的InferenceMAX基准测试数据，提到在类似的集群配置下，英伟达的Blackwell人工智能服务器相比AMD的MI355X，每GPU的吞吐量高出28倍（达到75个标记/秒）。如果你好奇为何性能差异如此显著，英伟达此前已给出答案。为了解决扩展混合专家模型时遇到的性能瓶颈，英伟达采用了“协同设计”方法，即利用GB200的72芯片配置，配合30TB的高速共享内存。这使得英伟达能将专家并行性提升到一个全新的水平。
有趣的是，人工智能经济学关注的是哪种架构能提供更好的总拥有成本数据。根据Signal65引用的Oracle云定价数据，英伟达的GB200 NVL72机架在更高的交互速率下，每个标记的相对成本仅为原来的1/15。这解释了为何英伟达的硬件堆栈是市场上最受欢迎的方案之一。对于像英伟达这样实行年度产品更新节奏的公司，它成功主导了每一个新开启的人工智能前沿领域（推理、预填充、解码等），从而保持了领先地位。
当然，这些数据并不能全面代表AMD与英伟达在人工智能领域的竞争格局，因为AMD尚未推出新一代的机架级产品。众所周知，MI355X Instinct系列产品凭借其高容量的HBM3e内存，在高密度环境中是一个强有力的选择。然而，仅就混合专家模型而言，英伟达目前占据主导地位。随着未来机架级解决方案（Helios对比Vera Rubin）的推出，竞争只会愈加激烈。
