随着人工智能行业步入成熟阶段，传统评估标准已显过时，这正是英伟达（NVIDIA）建议应以“单令牌成本”为核心重新评估人工智能总拥有成本（TCO）的原因。
令牌是衡量人工智能效能最重要的单一指标。过去的数据中心以其原始计算能力为评估标准，而如今的人工智能工厂则以令牌产出为衡量依据。然而，产出令牌的数量多寡并非关键，效率和成本才是最重要的价值所在。因此，人工智能工厂对总拥有成本的思考方式必须改变。
英伟达强调，企业目前仍在沿用相对数值、芯片规格、计算成本、每美元浮点运算次数等指标，这种状况需要改变。
计算成本是企业为人工智能基础设施支付的费用，无论是向云服务商租用还是自建本地设施。
每美元浮点运算次数衡量的是企业每花费一美元所能获得的原始计算能力，但原始计算能力与实际令牌产出并非一回事。
单令牌成本是企业产出每个可用令牌的全部成本，通常以每百万令牌成本来表示。
英伟达阐释了能够降低令牌成本的一些因素。他们使用一个公式来计算每百万令牌成本。该公司指出，大多数人工智能企业只关注公式的分子部分，即每GPU每小时成本，但这仅是冰山一角。公式的分母部分才是真正有助于最小化令牌成本、最大化收益的关键。
最小化令牌成本：当令牌产出的提升体现在成本公式中时，它会降低单令牌成本，从而扩大每次交互服务的利润率。
最大化收益：每秒交付更多令牌也意味着每兆瓦电力产生更多令牌，这等同于能为人工智能驱动的产品和服务提供更多智能，从而在相同的基础设施投资上创造更多收入。
这一切为何重要？答案很简单：对于人工智能企业而言，真正重要的是单令牌成本，而非每美元浮点运算次数。
为此，英伟达展示了其Hopper与Blackwell架构GPU的对比示例。Blackwell GPU的运营成本远低于Hopper，大约低2倍，而每美元总浮点运算次数也仅显示出2倍的差异。因此，仅看这两项指标，Blackwell似乎优势不大，因为其成本高出2倍，这抵消了其相较于上一代产品2倍的性能提升。
真正的差异在于令牌吞吐量和每百万令牌成本。在这些变量上，Blackwell比Hopper提升高达65倍，其每百万令牌成本比Hopper低35倍。作为参考，该数据基于SemiAnalysis的InferenceX v2基准测试得出。
现在，您可以将这一切视为英伟达标志性的“CEO算法”，但这些数字背后确有实际意义。要知道，英伟达拥有非常强大的人工智能软件栈套件，并且在各项基准测试中持续领先，其他竞争者难以企及。
英伟达首席执行官甚至挑战其他公司对其自家芯片进行基准测试，因为许多公司常声称自己领先于英伟达，却拿不出任何证据。
“目前世界上没有任何一个平台能向我证明其拥有更优的性能总拥有成本比。没有一家公司……我鼓励他们使用推理基准测试来展示他们惊人的推理成本。这真的非常困难……不，没人愿意站出来。”——黄仁勋（Jensen Huang），英伟达首席执行官。
通过对人工智能总拥有成本乃至整个人工智能领域的重新思考，英伟达不仅宣称在基准测试中获胜，更声称其在人工智能企业真正关心的核心指标上占据了王座。
