PCWorld探讨了群联电子(Phison)的aiDAPTIV技术。该技术与英特尔(Intel)合作,使得搭载仅16GB内存的笔记本就能运行260亿参数的AI模型,而通常情况下需要32GB内存。该解决方案使用专门的Pascari系列AI100E SSD作为AI缓存存储词元(token),显著提升了本地AI的响应速度,并扩大了其在更多设备上的可用性。然而,昂贵的Pascari SSD——1TB版本售价高达2,516美元——引发了对其普及程度的担忧,尤其是考虑到英特尔此前在Optane内存等专有技术上遭遇的失败。

并非所有人都希望在自己的PC上运行本地AI。但如果你有意如此,会面临一个重大问题:大多数先进的模型无法完全装入你PC的内存和存储容量范围内。群联电子和英特尔正在合作解决这一问题。
利用群联电子的aiDAPTIV解决方案,一个拥有260亿参数的AI模型可以在配备16GB内存的笔记本上运行,而它通常需要32GB内存。这有两个好处:一是让更多笔记本能够运行本地AI;二是让性能更强的笔记本可以加载更大的模型,或在运行AI的同时执行其他任务。在PC上,AI会独占系统资源,阻碍其他任何工作。这有时会迫使用户购买专用的AI电脑。
这是一个简单有效的生产力解决方案,既能让PC运行更大的AI模型,也能解放笔记本,使其胜任其他任务。
AI的硬件问题部分源于它必须计算词元,无论是简单地向LLM请求一首诗,还是执行监控油价并做出预测的复杂指令集。无论哪种情况,词元都在显存中即时生成。(传统上,英特尔会将笔记本系统内存的一半分配给集成GPU和Windows,直到2025年8月才允许用户手动调整分配。)
问题在于,随着用户持续与LLM交互,它需要记住最初的提示指令以及后续的更新。这些信息可以重新计算,也可以存储起来作为参考。问题在于,AI功能通常在显存或与GPU共享的系统内存中处理。结果呢?一切都变得缓慢。
由于RAM是AI函数进行计算的地方,从中分出一部分来“存储”数据会降低其效能。不过,有一个解决方案,而且你可能已经很熟悉了。Microsoft Word在你的PC的CPU上运行并使用RAM处理数据,但文档存储在云端或SSD中。如果Word需要某个文档,它会请求Windows从SSD中获取。群联电子的做法与此类似。
群联电子的aiDAPTIV所做的是:使用高性能、高耐久度的NAND闪存作为AI缓存,存储词元以供后续调用。(从技术上讲,缓存存储的是键值(KV)数据,该数据会随着上下文长度和模型大小而增长。)通常,这会使整个进程变慢。而aiDAPTIV试图预测模型的需求,智能地在RAM和SSD之间来回传输数据,从而让你无需牺牲性能就能运行更大的模型。
群联电子声称,其aiDAPTIV技术可以将本地AI的响应时间(首次输出词元的时间)提升到近乎即时的水平,即使上下文窗口不断增长也是如此。
双方表示,此次合作专注于在搭载英特尔酷睿(Intel Core)超极处理器(Ultra)的英特尔AI PC平台上启用群联电子的技术,包括对OpenVINO工具包的支持。群联电子和英特尔正携手向软件供应商展示这项技术,后者最终可以针对该技术优化自己的应用。
当然,这一切都假设用户希望在本地运行AI,而不是在云端通过ChatGPT或Claude进行。同时也假设用户希望运行的是“完整版”AI模型,而不是那些为了降低内存需求和提升速度而牺牲准确性的量化模型。
aiDAPTIV的概念听起来很简单,但有一个潜在的问题。这项联合工作是使用群联电子的Pascari AI100E系列专用SSD进行的,这些SSD专为高耐久度和持续高性能而设计。这意味着,成功的应用可能需要笔记本制造商专门采购Pascari SSD。在发稿时,一款M.2 2280规格的1TB Pascari AI100E在百思买(Best Buy)的售价为2,516美元。
英特尔以前也走过这条路。Optane基于3D XPoint内存,是一种由英特尔和美光(Micron)共同开发的全新内存类型,其行为更像传统内存而非闪存。但由于缺乏消费需求,英特尔在2021年被迫关停了其Optane SSD业务,一年后又减记了5亿美元库存。
二十五年前,我还报道过Direct Rambus DRAM的发布、延迟和最终消亡。当时,存储制造商被要求参与英特尔和Rambus针对特定类型PC内存的合作伙伴关系。虽然存储厂商公开表示同意,但私下里却对Rambus及其授权要求嗤之以鼻。教训是什么?技术优势是一回事,但被迫依赖单一供应商或技术则完全是另一回事。让我们拭目以待这一切将如何发展。



