随着苹果设备搭载更快的内存并采用双神经网络引擎，其运行更密集AI模型的能力得到显著提升。当然，所有产品都有其局限性，但该公司表示，其iPhone和iPad能够运行140亿活跃参数模型，而Mac更是突破天际，可运行万亿参数模型。
目前，一个Mac Studio集群能够运行超过1.6万亿参数的AI模型，而单台Mac Studio则接近5000亿参数的大语言模型。
在一张图表中，苹果列出了多款设备及其可运行的大语言模型。对于最小的AI模型——即140亿活跃参数版本，苹果建议使用配备16GB统一内存的iPad或iPhone。有趣的是，该公司提到本地AI推理的内存带宽为76GB/s，但A20 Pro已经以115.2GB/s的带宽超越了这一限制。
至于MacBook Air和Mac mini，它们最高支持64GB统一内存，带宽高达307GB/s，苹果表示这些机器可运行多达700亿活跃参数的大语言模型。顶配MacBook Pro机型最高支持128GB统一内存，虽然价格不菲，但可运行1200亿参数的AI模型，与同样内存容量的RTX Spark笔记本相当。
来到Mac Studio，情况开始变得严肃起来。凭借高达1.2TB/s的内存带宽，M5 Ultra最高支持512GB统一内存，意味着它可以轻松存储多达4800亿参数的模型。对于那些绝对的大玩家——无意每月向Claude和Gemini等AI订阅服务付费的用户来说，运行Mac Studio是一个昂贵但安全的选择。
采用四集群配置、总统一内存高达2TB时，运行1.6万亿参数模型应该不成问题，但请记住，现在入手Mac Studio并非易事。截至撰稿时，我们查看了苹果在线商店，发现该公司仅销售256GB内存版本，而且根据你居住在美国哪个城市，你可能需要等待15至17周的发货周期。
我们也没有忘记，要获得搭载36核CPU、80核GPU、32核神经网络引擎和1TB固态硬盘的M5 Ultra版本，你需要支付高达10,700美元。再加上三台额外设备组成四集群配置，总价将达到43,196美元，但这甚至还不能让你达到1TB的统一内存。
要运行1万亿参数的大语言模型，你需要八集群配置，总价高达86,392美元。仅仅为了运行开放权重模型就要花费如此巨资，如果你想从运行顶级AI模型中获得最大价值，这可谓适得其反。我们还想指出，虽然苹果在引导希望进行本地推理的用户方面做得不错，但该公司并未提供任何示例，说明该运行哪些大语言模型，以及每台设备将支持何种量化版本。
