英伟达(NVIDIA)正大幅减少其Vera Rubin NVL72机架式AI系统的内存容量,以应对高昂的价格和持续的内存短缺——这一结论来自广发证券(GF Securities)的分析。此举的底气源于,英伟达在内存行业短缺爆发前就签署了长期内存协议,这使得它能够安然度过大多数科技公司因高需求导致产能限制而不得不面对的困境。

一段报告指出,削减内存容量可使英伟达将Rubin NVL72机架成本降低近50%。
英伟达的Vera Rubin NVL72机架是全球最强大的AI系统之一。自1月发布后,其首批性能指标于本月早些时候浮出水面,当时CoreWeave分享了不同AI系统的吞吐量数据。结果显示,在计算混合专家模型(MoE,Mixture of Experts)工作负载时,虽然由英伟达的Blackwell AI GPU驱动的系统在150兆瓦功耗下可实现每秒80,000个词元(token)的吞吐量,但VR200 NVL72 Vera Rubin平台将此性能提升了10倍,达到每秒800,000个词元。
此前,伯恩斯坦(Bernstein)的一份报告指出,一台NVL72 Rubin机架的成本可能高达每台910万美元,主要原因是内存价格上涨。伯恩斯坦表示,认为该机架成本为780万美元的估算是基于过时的内存价格数据。这家金融公司补充说,HBM4内存价格在2027年可能上涨至每GB53美元。
现在,广发证券的一份报告指出,英伟达正在进行调整以应对内存市场的供应和价格限制。该机构认为,从Vera Rubin NVL72机架开始,该公司将把机架的SOCAMM容量从之前每模块192GB削减一半至96GB。这些调整是对LPDDR5X市场限制的回应。
类似地,Vera CPU的内存将从之前的54TB至55TB削减至28TB,而每个机架的GPU将继续使用20.7TB的HBM4内存。至于CPU机架的SOCAMM,这家分析机构认为,每个CPU也将采用96GB的SOCAMM。
这些决策带来的财务影响意味着,如果将容量削减至四分之一,VR200的LPDDR5X成本可能降至低至29.3万美元;或者降至58.6万美元,而不会触及之前估计的120万美元。广发证券补充说,如果不进行调整,内存成本可能占VR200系统物料总成本的29%,达到210万美元。而29%这一比例高于首选的20%水平。



