英伟达（NVIDIA）在Groq的语言处理单元（Language Processing Unit， LPU）展现出高效推理潜力后，迅速将其收入囊中。如今，AMD已携手Cerebras来应对这一招，将Helios机架级解决方案与Cerebras的晶圆级引擎（Wafer-Scale Engine）相集成，从而大幅提升整合系统的推理能力。
LPU与晶圆级引擎之争
对于可能不太了解的读者，Groq的LPU将数百甚至数千个专用芯片集群化，每个芯片都包含巨大的矩阵乘法单元（Matrix Multiply， MXM）和矢量单元（Vector， VXM）模块，以及约230MB的极速SRAM。此外，AI模型权重被直接固化到SRAM中，完全绕过了内存缓存的概念。
关键在于，LPU没有分支预测器或硬件调度器。取而代之的是，Groq编译器将每一次计算都精确规划到纳秒级别，确保相关数据能以连续、精心编排的运行节奏从SRAM中抵达进行处理，从而实现极快的推理速度。
相比之下，Cerebras的晶圆级引擎将一个完整AI超级计算机的内存和算力置于一块巨大、互联的单片硅片上，数十万个计算核心和数十GB的SRAM无缝连接，使得数据能够高效传输，而无需受困于外部网络瓶颈。
LPU使用小型、孤立的SRAM池，将给定AI模型分解后分发到大量专用芯片上。而Cerebras的晶圆级引擎则能将整个中型模型——或大型模型中的大部分——容纳在其统一的SRAM区块内。此外，Cerebras方法的多功能性使其能够同时处理训练和推理工作负载。
AMD正在将其机架级Helios产品与Cerebras的晶圆级引擎相集成，以提供“最先进AI应用所需的超低延迟”。根据AMD的路线图设想，Helios将提供高性能、可扩展的吞吐量引擎，而Cerebras的晶圆级引擎技术则将提供超快、超低延迟的解码和令牌生成。两者结合，预计每瓦每秒可处理的令牌数将提升高达5倍。
这种配置平衡了基于量工作负载的高令牌生成需求，以及编程和其他智能体任务所珍视的更快响应时间。AMD进一步指出：“Helios提供超高吞吐量，处理提示和大型上下文窗口。Cerebras的晶圆级引擎则加速了内存带宽密集型的令牌生成过程，具有超低延迟。通过一个集成工作流连接这些同类最佳的引擎，两家公司正在打造一个差异化的平台，在不牺牲吞吐量或规模的前提下实现超低延迟推理。”
当然，英伟达现在正在销售其基于LPU的机架级解决方案，名为Groq 3 LPX，集成了256个互联的Groq 3 LPU加速器，采用全液冷散热，推理算力达到315 PFLOPS。即便如此，AMD与Cerebras的合作提供了一款机架级产品，其多功能性远超Groq 3 LPX中结构相对僵化的LPU。
