西部数据（SanDisk）本周早些时候举办了投资者日活动。通常情况下，这会被视为常规操作。然而，部分含有所谓错误信息和关键遗漏的演示幻灯片开始在社交媒体上流传，引发了科技圈人士的强烈反弹。
闪迪将每GPU的HBM容量定为192GB，带宽却严重低估至12.8 TB/s，且完全未提及HBF的写入耐久度
一个AI模型基本上由一系列Transformer模块组成，这些模块包含两个关键要素：
注意力层（Attention Layer）负责查看句子中单词之间的关联。例如，若给模型一个提示“巴黎是法国的首都”，注意力层会将“首都”与“法国”联系起来，并识别出“巴黎”为答案。即便如此，这一层并不理解“法国”或“巴黎”的含义，而只是以键值缓存（KV cache）的形式保存这些记录。随着上下文的增加，键值缓存也会相应增长。
前馈网络（FFN）以权重的形式存储模型的全部知识，正是这一层运用深层数学公式来揭示每个词背后的含义。例如，它会查看“法国”并激活其“国家百科全书”条目，以此类推。
目前，模型权重和键值缓存都存储在HBM中。然而，HBM堆栈是与GPU焊接在一起的，其内存相关容量有限。此外，要增加HBM，通常需要增加GPU数量，这会迅速导致成本急剧攀升。
高带宽闪存（HBF）则代表了一个可能的解决方案方向。闪迪目前正与SK海力士（SK hynix）共同开发HBF标准，该标准将提供512GB的存储容量以及0.4TB/s至3TB/s的带宽。公司目标是到2028/2029年实现商业化。
基本上，正如HBM堆叠DRAM一样，HBF将NAND闪存裸片垂直堆叠，通过硅通孔（TSV）连接各裸片，并将一个控制器逻辑裸片键合到该NAND阵列上。
然而，使用NAND单元的问题在于其龟速般的读写速度。SRAM的读取速度仅约1纳秒，DRAM约为100纳秒，而NAND则高达约100微秒。这意味着，与基于DRAM的HBM相比，NAND的读取速度要慢1000倍。
不过，HBF利用并行性的优势将带宽提升了数个数量级。基本上，逻辑裸片会同时调度对数千个NAND单元的并行读取。因此，虽然对单个NAND单元的每次读取速度慢了约1000倍，但数千次并行读取可以累计提供0.3TB/s至3TB/s的带宽。
即便如此，HBF也无法弥补NAND糟糕的写入速度以及随之而来的脆弱写耐久度问题。
这便引出了今日话题的核心。闪迪在本次演示中在准确性和最佳实践方面失分了。例如，鉴于HBF要到2028/2029年才会推出，它应该将其规格与彼时可能成为主流HBM解决方案的16Hi HBM4E进行比较。该HBM变体的带宽为32 TB/s，比闪迪似乎设定的12.8 TB/s高出约3倍。
此外，闪迪选择使用bf16作为其量化精度，而如今大多数模型要么使用fp8，要么使用fp4。更令人震惊的是，闪迪完全未提及HBF的预期写入耐久度。这是一个严重的疏忽，可能导致该技术不适合用于KV缓存。尽管我们确信闪迪能够对这些疏漏和搪塞做出合理解释，但这一切确实描绘了一幅相当绝望的图景。
