随着闪迪（SanDisk）与SK海力士（SK hynix）携手开发高带宽闪存（HBF）标准，长期困扰AI领域的HBM内存及带宽瓶颈将迎来实质性缓解。这一技术路径的演进，最终有望让当前完全由HBM承担的任务出现分流。
HBF能够提供比JEDEC规范下的HBM4高出数个量级的读取带宽，但其写入耐久性则有所不及。在讨论HBF标准之前，我们先来梳理一下HBM经常面临的“内存墙”问题。
HBM与内存墙问题
一个拥有1000亿参数、运行在FP16精度（即每个参数占用2字节）的AI模型，仅存储模型权重就需要200GB的HBM空间。
简单来说，权重决定了模型对特定概念或词串赋予多大的重要性，它本质上是模型所存储知识的全部总和。通常，模型规模越大，需要存储的权重就越多。
但这并非全部。设想一个场景：你正在写一个故事，但短期记忆极差。每写下一个新词，都不得不回读之前写下的所有内容，以记住已经写过什么。显然，随着文本变长，这一繁琐过程也会随之加剧。
KV缓存（键值缓存）则类似于在另一张纸上做笔记，让你随时掌握已写内容的进度，从而将整个过程的效率提升数个量级。即便如此，随着上下文长度的增加，KV缓存的规模也会相应增长。由于模型需要以极高的速度和频率访问这些数据，KV缓存通常存储在HBM中。
难点在于，HBM4堆栈是与GPU封装在一起的，且其内存带宽有限。例如，普通的12层HBM4堆栈可容纳36GB数据，而16层版本则可提升至48GB。
因此，HBM不仅需要存储模型权重，还要承载KV缓存。而要增加HBM容量，通常意味着必须增加GPU数量，这会迅速推高成本。
将HBF纳入考量
正如我们今日早些时候详细报道的，闪迪正与SK海力士合作开发HBF标准，该标准将提供512GB的存储容量以及0.4TB/s至3TB/s的带宽。
本质上，HBF的运作原理与HBM堆叠DRAM类似，即将NAND闪存芯片纵向堆叠，通过硅通孔（TSV）技术实现芯片间的互联，并在该NAND阵列上键合一颗控制器逻辑芯片。
然而，NAND单元的短板在于其龟速般的读写速度。SRAM的读取速度约为1纳秒，DRAM约为100纳秒，而NAND则高达约100微秒。这意味着，NAND的读取速度比基于DRAM的HBM慢了1000倍。
不过，HBF巧妙地利用了并行计算的力量，将带宽提升了数个量级。具体而言，逻辑芯片会同时调度对NAND单元的数千次并行读取。尽管单次NAND读取速度慢约1000倍，但数千次并行读取的累积带宽却能达到0.3TB/s至3TB/s，相比之下，JEDEC规范下的HBM4带宽仅为6.4GB/s。
即便如此，HBF仍无法克服NAND糟糕的写入速度及其脆弱的写入耐久性。这意味着，由于需要频繁写入，KV缓存仍将不得不存储在HBM上，而模型权重则可以迁移至HBF。
最后需要指出的是，HBF阵列的成本预计不会达到SSD级别那么低廉，尤其是它依然需要先进的封装工艺，这本身就是一项高昂的开支。尽管如此，HBF的价格仍可能远低于HBM，这有望释放出巨大的规模经济效益。此外，将HBM从模型权重的存储负担中解放出来，专门用于KV缓存，意味着在保持输出精度的前提下，模型的上下文长度可以得到显著扩展，这为这一新兴范式又增添了一项实质性的优势。
