任何人都可以创建一个X账号并畅所欲言，但并非所有言论都值得倾听。不过，当约翰·卡马克（John Carmack）发推时，人们往往会认真聆听。他最新的思考是关于利用一条超长的光纤环路作为一种L2缓存，来存储AI模型权重，以实现近乎零延迟和巨大的带宽。
卡马克是在考虑到单模光纤速度已达到256 Tb/s、传输距离达200公里后想到这个主意的。他用一些粗略的计算得出，在任何时刻，光纤电缆本身内部都“存储”着32 GB的数据。
AI模型权重在推理时可以顺序访问，训练时也几乎如此。因此，卡马克接下来的逻辑步骤就是利用光纤环路作为数据缓存，以持续不断地为AI加速器提供数据。不妨把传统的RAM想象成只是SSD和数据处理器之间的一个缓冲区，然后思考如何改进或彻底消除它。
这场讨论引发了大量回复，其中许多来自高薪阶层的业内人士。有几位指出，这个概念本身类似于延迟线存储器，让人回想起上世纪中叶使用水银作为介质、声波作为数据的时代。不过，水银的“善变”特性使其难以驾驭，连艾伦·图灵（Alan Turing）本人都曾提议使用杜松子酒混合物作为介质。
使用光纤线路在现实世界中的主要好处实际上在于节能，因为维持DRAM运行需要大量电力，而管理光信号则耗能极少。此外，光具有可预测性且易于操控。卡马克指出，“光纤传输的增长轨迹可能比DRAM更好”，但即使不考虑纯粹的物流问题，200公里长的光纤很可能仍然相当昂贵。
一些评论者指出了卡马克提议之外的其他限制，除了需要大量光纤这一事实。光放大器和DSP可能会抵消节能效果，而且DRAM价格迟早会下降。有些人，比如埃隆·马斯克（Elon Musk），甚至建议用真空作为介质（太空激光！），尽管这种设计的实用性值得怀疑。
卡马克的推文也暗示了一种更实际的方法，即使用现有的闪存芯片，直接将足够数量的芯片连接到加速器上，并仔细考虑时序问题。这自然需要闪存和AI加速器制造商就一个标准接口达成一致，但考虑到对AI的巨额投资，这一前景似乎一点也不牵强。
实际上，已有多个科学家团队探索过这个想法的变体。相关方法包括2021年的Behemoth、FlashGNN和FlashNeuron，以及更近期的Augmented Memory Grid。不难想象，其中一种或几种方法将被付诸实践，假设它们尚未实现的话。
