谷歌（Google）在高性能DRAM内存供应持续紧张的大环境下，正陷入前所未有的困境。为了获取急需的内存资源，这家科技巨头不得不采取一种极为罕见的非常规手段——拆解自家退役的服务器，以回收其中的DDR4内存模块。
谷歌目前正通过拆解退役服务器来回收应用老旧的DDR4模块，并以此建立起一条内部回收再利用的供应链体系。
谷歌供应链基础设施高级总监尼希尔·切里安（Nikhil Cherian）近日在一次峰会上透露，人工智能行业正迅速从“算力受限”转变为“存储受限”，高性能内存在单台AI服务器物料清单（BOM）成本中的占比已高达约75%。
针对这一瓶颈，切里安表示，为了“突破内存瓶颈，谷歌正同时从软件和硬件两方面着手解决方案”，甚至会直接拆解退役服务器以回收可用部件，进而构建一条内部回收供应链。
事实上，谷歌已专门设计出特殊的硬件适配器，使得上一代内存产品（如DDR4）能够连接到其新一代AI服务器上。切里安也坦承，谷歌正在明确地重新回收退役服务器，目的就是为了拆卸其中的DDR4内存模块。
与此同时，这家科技巨头也在持续优化底层函数库、模型架构以及KV Cache压缩技术，力求降低单位算力所对应的内存占用空间。
值得一提的是，谷歌今年已推出两款各自定位于不同任务场景的自研TPU ASIC芯片：其中，TPU8t专注于特定AI模型的训练任务，而TPU8i则是面向推理场景进行了专门优化。
正因如此，谷歌TPU8i利用了高度先进的专业化内存层级来消除性能瓶颈。其设计指标如下：
每颗TPU 8i芯片均配备了高达288 GB的HBM3E内存，可提供8.6 TB/s的超高速内存带宽。
该ASIC还集成了384 MB的片上SRAM（静态随机存取存储器），用于存储活跃的键值（KV）缓存，从而避免了对系统外部RAM的查询需求。
TPU 8i服务器已全面弃用传统的x86主处理器，转而搭载谷歌自研、基于Arm架构的Axion处理器，这类处理器在处理数据预处理等主机级任务时，依赖的是高速DDR5内存架构。
然而，结合切里安近期透露的消息来看，尽管TPU 8i在设计中瞄准了顶级的HBM3E与DDR5配置，但至少在某些情形下，谷歌已迫于供应压力，不得不在这批全新的AI服务器中，用规格更老旧的DDR4内存去临时顶替原本所需的DDR5模块。
