英伟达（NVIDIA）收购的Groq公司据报计划采用3D堆叠DRAM技术生产下一代内存芯片。
Groq拟在下一代芯片中推出3D堆叠DRAM内存技术，以容量优先于速度
今年早些时候，英伟达（NVIDIA）发布了Groq LPX机架，该机架属于Vera Rubin生态系统的一部分，旨在提升推理性能。LPX机架已于8月进入全面量产，早期结果显示，与NVL72服务器搭配使用时，性能达到创纪录的每秒3,400个Token。
当前一代Groq LPU配备500 MB的SRAM，带宽速率高达惊人的150 TB/s；机架配置256颗此类芯片，带来约128 GB的SRAM容量和640 TB/s的纵向扩展带宽。单颗Groq LPU实现1.20 PFLOPs的FP8算力。
如今在下一代产品上，Groq打算另辟蹊径。该公司将不再使用SRAM，而是采用DRAM技术，并将其整合为3DS（3D堆叠）方案。DRAM确能提供更高容量，但会牺牲带宽速度。
一位半导体行业内部人士表示：“Groq计划在其下一代芯片中引入3D封装”，并补充说，“这意味着堆叠DRAM，而非现有的SRAM。”业界将Groq此举解读为有意大幅提升芯片容量。SRAM速度快但容量有限，而DRAM相对较慢，却有利于实现大容量。
借助3D堆叠技术，Groq将能够在单颗垂直芯片中堆叠多层DRAM，并通过TSV（硅通孔）进行连接。这与当今HBM DRAM的设计方式类似。与传统DRAM封装相比，3D堆叠可减小表面积并提升能效。
Groq此次的主要着力点似乎在于内存容量，同时保留其纯SRAM芯片所具备的部分高带宽速度特性。随着模型规模持续增长，最新的Groq芯片可能会获得英伟达等厂商更大的推动——后者一直在利用这些芯片增强其AI工厂和AI平台。另有迹象表明，Groq将把DRAM芯片与SRAM芯片彼此分开，为业界提供一种他们认为合适的解决方案。
