CPU由GPU和CPU组成，但运行代理型AI需要大量内存。随着DRAM供应持续紧张，这一需求正螺旋式上升至前所未有的水平。
内存制造商虽利润丰厚，却仍无法满足需求。我们曾报道过各大厂商正迅速扩大生产设施，但这些设施尚未投入运营。而三星（Samsung）本身已表示，2027年DRAM行业的形势将比2026年更加严峻。因此，在AI热潮持续期间，DRAM短缺似乎已陷入无解境地。
随着代理型AI加速发展，最受关注的核心组件是CPU。虽然GPU仍然不可或缺且需求旺盛，但数据中心中GPU与CPU的比例已从8：1降至4：1。随着代理型AI模型对处理能力的要求更高，这一比例在不久的将来可能接近1：1。
与此同时，代理型AI仍然需要大量内存。尽管通过算法实现的压缩技术有助于解决KV缓存问题，但需求仍在增长。因此，CPU领域的内存容量将迎来大幅增长。
据行业消息人士向SE Daily透露，CPU制造商正计划为其AI CPU配备300至400GB的内存。相比目前每颗芯片96至256GB的DRAM容量，这一增幅巨大。该报道未明确提及具体的内存类型，目前CPU平台可支持4至8TB内存，但那是指整个平台通过DIMM实现的总容量。即将推出的MRDIMM技术将有助于提升内存容量和带宽，但它仍然是物理独立的DRAM。
内存容量的竞争已从GPU扩展至CPU，并呈现滚雪球效应。英伟达（Nvidia）的下一代AI芯片“Vera Rubin”通过八颗HBM芯片提供288GB内存，而超威半导体（AMD）的下一代GPU MI400则拥有更大的432GB内存。
谷歌（Google）最近推出的定制芯片，第八代张量处理单元（TPU）TPU 8i，预计也将配备288GB的HBM容量。此外，随着英特尔（Intel）的AI CPU“Xeon”和超威半导体（AMD）的“Epyc”开始采用高达400GB的高容量DDR5，内存短缺预计将持续。
可能的情况是，某些CPU SKU会与HBM封装在一起，或者采用目前正在开发的新型HBF/ZAM内存标准。超威半导体（AMD）此前曾发布过一款搭载HBM的EPYC SKU，因此有推出此类芯片的先例。
更简单的途径是大幅提升单条DIMM的内存容量。一条400GB的DIMM将比当前GPU拥有更多DRAM，例如英伟达（Nvidia）的GB300和超威半导体（AMD）的MI350X，它们配备288GB的HBM3E。未来的解决方案将通过更新的HBM4标准及更高容量来扩展DRAM。
容量的提升可能导致供应短缺进一步加剧。随着更密集的DRAM IC成为焦点，我们可以预期内存制造商将退出低端产品市场。三星（Samsung）已经在LPDDR4内存上采取了这一策略，停止生产并转向利润更高的LPDDR5解决方案。但与LPDDR5类似，DDR5也有多种形态和规格，各有其用途。由于AI对DRAM的需求要求生产更多高端芯片，分配给低端产品的产线将减少，从而导致AI领域以外的细分市场出现更严重的短缺和更高的价格。
