EXO实验室的核心项目是EXO——一个能在混合硬件配置中高效运行大语言模型的开源框架。与传统将推理任务局限于单一GPU或加速器的做法不同，EXO能自动将工作负载分配到所有可用设备上，将台式机、笔记本电脑、工作站、服务器、平板电脑甚至智能手机集群转变为协同运作的人工智能网络。在最新演示中，该框架将两套英伟达DGX Spark系统与搭载M3 Ultra芯片的苹果Mac Studio相结合，充分发挥各设备特性：Spark系统具备更强原始计算能力，而Mac Studio则拥有更快数据传输速度。目前处于早期测试阶段的EXO 1.0成功将二者融合为统一推理管道，实际运行效果令人惊艳。
理解其原理需从大语言模型推理的两个阶段入手：首先是预填充阶段，模型读取处理用户指令，这个计算密集型阶段依赖DGX Spark中Blackwell架构等高性能GPU；随后是解码阶段，逐词元生成内容，这个带宽密集型阶段正好利用M3 Ultra的超宽内存总线。EXO的突破在于将两个阶段分配至不同设备，通过逐层流式传输模型内部数据，使两套系统能并行工作而非相互等待。
在EXO实验室基于Meta公司Llama-3.1 8B模型的测试中，混合配置相比单台Mac Studio实现近三倍加速——既保持了DGX Spark的预填充速度，又延续了M3 Ultra的快速生成能力。最终在8K词元指令的测试环境下获得2.8倍整体性能提升。若采用更长提示词或更大模型，性能增益将更为显著。
这种“分解式推理”虽非全新概念，但其实现方式极具巧思。它预示着人工智能性能提升的未来方向：不再依赖单一巨型加速器，而是通过智能协调现有硬件资源来实现。英伟达显然认同这一理念，其即将推出的Rubin CPX平台就采用计算密集型处理器处理预填充阶段，同时由具备HBM3e超大内存带宽的标准芯片负责解码阶段——这与EXO在现成硬件上验证的原理如出一辙。
目前EXO的早期版本仍处于实验阶段。现行开源版本号为0.0.15-alpha，而具备自动调度、KV流传输和异构优化功能的完整1.0版本尚未公开。这套系统目前尚非即插即用的消费级软件，而是验证分解式推理实际效能的研究级工具。
尽管如此，这仍是个令人振奋的概念验证。EXO通过智能利用混合硬件证明，高性能人工智能不必被数据中心垄断。这个发现足以让人重新审视办公室中各种电子设备的潜在价值。
