内存初创公司d-Matrix宣称，其3D堆叠内存速度将比HBM快达10倍，运行速度提升高达10倍。该公司的3D数字内存计算（3DIMC）技术是其专为人工智能推理定制内存类型的解决方案。
高带宽内存（HBM）已成为人工智能和高性能计算的重要组成部分。HBM通过垂直堆叠内存模块，更高效地连接内存芯片并实现更高内存性能。然而，尽管其应用日益广泛，HBM并非所有计算任务的最佳解决方案——它在人工智能训练中表现关键，但在人工智能推理中可能相形见绌。
为此，d-Matrix刚刚在实验室中启动了d-Matrix Pavehawk 3DIMC芯片。当前数字内存计算硬件采用LPDDR5内存芯片与堆叠其上的DIMC小芯片组合，通过中介层连接。这种配置使DIMC硬件能在内存内部执行计算，其逻辑芯片专为矩阵向量乘法优化——这正是基于Transformer架构的人工智能模型运行中的核心运算。
“我们认为人工智能推理的未来不仅需要重新思考计算，更要革新内存本身，”d-Matrix创始人兼首席执行官Sid Sheth在近期领英发文中表示，“人工智能推理的瓶颈在于内存而非浮点运算。模型规模急速增长，传统HBM内存系统正变得成本高昂、功耗巨大且带宽受限。3DIMC将改变游戏规则——通过三维堆叠内存并与计算单元紧密集成，我们显著降低延迟、提升带宽，实现突破性能效提升。”
随着Pavehawk在实验室投入运行，该公司已着手开发下一代产品Raptor。在公司博客和Sheth的领英声明中，d-Matrix宣称这款同样采用小芯片架构的新一代产品将在推理任务中以90%的能耗降低实现10倍于HBM的性能。
d-Matrix的DIMC项目延续了初创公司和科技理论家提出的趋势：针对特定计算任务（如AI训练与推理）应设计专用硬件。该公司强调，现已占据超大规模运营商50%AI工作负载的推理任务，与训练任务存在本质差异，需要专属内存类型。
从财务角度看，HBM替代方案同样具有吸引力。目前全球仅SK海力士、三星和美光等少数企业生产HBM，其价格始终居高不下。SK海力士近期预测，HBM市场将以每年30%的增速持续扩张至2030年，价格将随需求攀升。对于成本敏感的人工智能买家而言，替代方案极具吸引力——尽管专为特定工作流设计的内存方案，对警惕行业泡沫的潜在客户而言可能显得目光短浅。
