在智能手机上运行更密集的AI模型，最大的瓶颈是内存容量，而从DRAM的现状来看，我们短期内不太可能突破16GB这道门槛。不过，高通（Qualcomm）首席执行官克里斯蒂亚诺·阿蒙（Cristiano Amon）认为，我们很快就会进入一个手机能够持续运行1000亿参数大语言模型的时代，并确认AI公司正在打造能够实现这一目标的智能手机。至于运行更密集模型的可行性，阿蒙提到手机厂商将如何搭载大容量内存，尤其是在供应紧张、价格飞涨的情况下。
到2028年在手机上运行1000亿参数大模型，唯有闪存流式加载或稀疏MoE两条路
在接受Fireside Alpha采访时，克里斯蒂亚诺·阿蒙没有透露任何想要运行1000亿参数大模型的AI公司名称，但他大胆预测这类设备将在2028年到来，这无疑是一项艰巨的任务。由于内存危机，大量智能手机厂商已经不再推出更高内存的版本，尽管就在一年前，我们还有24GB LPDDR5X内存的安卓设备。
即便算一笔账，运行一个4位量化的1000亿参数模型，手机至少需要50GB内存，还要留出足够空间给操作系统、应用和上下文缓存。2位量化模型仍然是不可能完成的任务，因为仅1000亿参数大模型就需要手机配备25GB内存。假设DRAM成本和供应障碍也同步放大，我们甚至还没有考虑到持续运行更密集模型会大量发热，导致热降频。
高通首席执行官透露，AI公司希望在2028年前让手机持续运行1000亿参数模型，并确认一些公司正在打造这类手机。克里斯蒂亚诺·阿蒙表示：“我必须谨慎，不能透露名称，但一些AI公司——一些处于AI前沿的公司——正在……”（Fireside Alpha，2026年10月10日）
苹果（Apple）和高通通过A20 Pro和骁龙8 Elite Extreme Gen 6在芯片封装上的转变，在一定程度上缓解了这个问题，但除非采取更独特的方案来认真运行1000亿参数模型，实际的内存瓶颈仍将持续存在。例如，激进的量化可以大幅降低内存需求，意味着1位量化版本可以装进DRAM。遗憾的是，超过4位量化后，大语言模型的质量会显著下降，尤其是在推理任务上。
另一种替代方案是带专家卸载的MoE（混合专家）架构，每个token只有一小部分专家处于活跃状态，因此它们常驻内存，其余则存放在闪存中。说到闪存，苹果已经研究过在板载内存上运行大语言模型，但由于UFS和NVMe存储速度慢于DRAM，推理速度可能会下降。
一个蒸馏后的200亿至300亿参数模型在手机上运行时，质量可以接近1000亿参数模型。这对企业来说似乎是更具市场价值的策略，因为它最为现实。遗憾的是，高通首席执行官发表这类言论却没有给出路线图，并不会让我们离在手机上运行更密集模型更近一步，但想象这些设备拥有与大型机器相同的能力，仍然是一个美好的想法。
