虽然AI GPU巨头英伟达（NVIDIA）的芯片被广泛认为相比定制AI芯片替代方案具有更优的总拥有成本（TCO），但Evercore ISI的分析师认为，AI工程师对这些芯片并不感冒。英伟达首席执行官黄仁勋（Jensen Huang）多次为其公司的AI芯片定价辩护，声称其比竞争对手提供更好的性能效率。然而，根据Evercore的报告，AI工程师在决定使用哪些产品时，也会关注其他指标，例如芯片冷却成本。
Evercore关于使用英伟达AI芯片成本的讨论，紧随摩根士丹利（Morgan Stanley）的一份报告之后。摩根士丹利在报告中称，尽管使用英伟达的Blackwell GPU构建数据中心的成本是定制AI芯片的两倍，但Blackwell GPU的每瓦性能却高出八倍。
然而，Evercore在其报告中指出，AI工程师在评估AI芯片时，关注的因素不仅仅是每瓦性能。这家金融机构援引AI工程师及其他超大规模数据中心业内人士的话称，芯片用户在使用英伟达芯片时也在考虑其他因素。
英伟达的一张幻灯片展示了一系列硬件架构，包括Blackwell、Rubin和Feynman，并展示了2024年、2026年和2028年的各种NVLink型号和CPU。
据Evercore称，从“训练主导模式”向“推理主导模式”的转变，“使得人们更加关注每个词元的成本、投资回报率和总拥有成本，这加速了超大规模数据中心对自研ASIC和替代加速器的兴趣。”这一说法也得到了AI计算基础设施提供商Nebius的一位专家的印证。该专家指出，GPU正通过每生成百万个词元的成本等指标进行评估。
该金融机构还指出，向推理的转变正在将“购买标准从最大吞吐量/带宽转向每个词元的成本、功耗、冷却、利用率、总拥有成本。”它补充说，英伟达“声称的35倍提升并未引起普通AI工程师的共鸣，因为人们认为70%的毛利率过高。”因此，Evercore指出，普通工程师“愿意使用ASIC或‘足够好’的替代方案来改善经济效益。”
Nebius专家指出，推理需求占企业工作负载用例总数的95%。据该专家称，Groq芯片也因其更高的吞吐量而受到青睐。
