高通(Qualcomm)宣布,其第一代高带宽计算(HBC)芯片已在圣迭戈实验室完成验证,为该公司面向AI推理的内存设计方案提供了早期的硬件实证。该芯片似乎在生产级尺寸下跑通了完整的内存读写路径与近内存计算,测试使用了行业标准的自动化测试设备,并采用随机权重与激活值。

Qualcomm-HBC.jpeg

这家芯片组厂商的Dragonfly AI250预计于2027年上半年提供样品。其目标是内存带宽。高通称,带宽是大语言模型(LLM)推理的核心瓶颈,因为每生成一个token,都需要将模型数据送入计算单元。在数据中心规模下运行时,这种数据搬运的能耗与延迟会影响吞吐量、功耗以及总体拥有成本。HBC的思路是让计算更靠近内存,从而减少数据搬运、提升有效带宽。

高通HBC设计采用晶圆到晶圆键合技术,将低功耗LPDDR裸片堆叠在有源AI加速器基础裸片之上,把数据传输距离从毫米级缩短到仅微米级。据HotHardware报道,这一方案使有效内存带宽相比LPDDR5X提升18倍,每瓦带宽超过HBM4预期规格的5倍以上。

不过,效率提升略低于高通此前预期的6倍基准。这家圣迭戈公司的脚注称,上述数据是基于实测硅片结果、归一化至目标运行条件并与已公布的竞品规格比较后得出的估算值,最终性能可能因实现方式、工作负载和系统配置而异。

高通还描述了一个分阶段推进的计划,涵盖架构、工艺开发、测试载体、硅片验证和产品集成,并表示已与代工及封装合作伙伴共同完成晶圆到晶圆键合的认证。为解决堆叠层中的缺陷,该设计加入了冗余与重映射机制,可绕过故障内存。这家芯片组厂商还提到,其在“内存叠逻辑”领域已有十余年积累,包括已商用的DRAM与逻辑芯片直接键合,以及参与制定JEDEC LPDDR标准。

高通商用产品预计将采用四层DRAM堆叠,多于目前的两层。说到产品,Dragonfly AI250计划于2027年上半年提供样品,并将纳入高通的Dragonfly Rack推理基础设施。规格方面,该硬件包含一个全液冷机架,配备38.6 TB内存和每秒7.4 PB的有效带宽。

高通的自有发布策略将转向服务器侧,计划于2027年部署基于Oryon的C1000服务器CPU,随后于2028年在Dragonfly AI300中采用下一代HBC。这无疑是进步,但需要记住,这些结果来自高通自家实验室的早期硅片,独立基准测试可能呈现不同图景,我们未来会向读者更新。


文章标签: #高通 #AI推理 #内存带宽 #HBC芯片 #数据中心
菠萝老师先生

负责编辑

  让你的每一个瞬间都充满意义地生活,因为在生命的尽头,衡量的不是你活了多少年,而是你如何度过这些年。