AI芯片公司爱芯元智（Axera）发布了其最新AI芯片AX8860，声称在价格仅为DGX Spark一半、功耗仅40W的情况下，速度比后者快25%。
爱芯元智AX8860 AI芯片以DGX Spark一半的价格提供128 GB内存，运行AI大语言模型速度提升25-30%。
中国AI公司爱芯元智发布了其新一代解决方案，旨在运行AI大语言模型和AI智能体。该芯片为AX8860，基于16核Arm Cortex-A55 CPU、算力高达256 TOPS的NPU以及256位LPDDR5/5X控制器。该芯片采用6nm制程工艺设计，支持PCIe 5.0连接。
256 TOPS的数据来自纯FP4运算，不涉及任何稀疏化。此外，该芯片可通过上述256位总线接口配置高达128 GB的LPDDR5X内存，带宽高达273 GB/s，使其与英伟达（NVIDIA）的DGX Spark和AMD的Ryzen AI Halo平台处于同一水平。
该芯片还支持通过256 Gbps网络接口进行多设备集群配置，比DGX Spark的200 Gbps接口更快。在2倍集群配置下，爱芯元智可将算力输出提升至512 TOPS，而在4倍集群下，他们声称可实现1024 TOPS，扩展效率达80%。
接下来看设备方面。爱芯元智AX8860P/8860将推出多种产品设计。首先是额定功耗为40W的专用模块。
还有一款单槽PCIe卡，带有网络和显示接口。它采用Gen5x4连接器，内置辅助风扇用于散热。此外还有一款四芯片方案，采用单槽外形，在大尺寸散热器上安装四个风扇。这款四ASIC方案由标准8针电源连接器供电。目前还有采用同款芯片开发的迷你PC和掌上PC。
不过，爱芯元智并未止步于AX8860芯片。该公司有一份路线图，展示了即将推出的解决方案，如Axera 8950，将拥有高达500 TOPS的AI算力，以及下一代8970芯片，将提供超过700 TOPS的AI算力。
Sipeed分享了关于AX8860 AI芯片性能和成本方面的一些有趣数据。他们声称测试了Qwen 27B，预填充速度比英伟达DGX Spark快25%，解码速度快30%。他们还声称该芯片价格将几乎是DGX Spark的一半，不过我们不知道这是与售价超过7000美元的128 GB配置相比，还是与售价4999美元的64 GB配置相比。
尽管如此，如果这些说法属实，那么爱芯元智AI芯片无疑将被视为小型LLM和智能体AI机器的可靠选择。Sipeed还提到，他们的设备（如MaixStation）的预购页面将在24小时内开放，并将在今年内上市。在软件方面，该芯片支持多种LLM开发框架，如vLLM、SGLang、PyTorch等。
以高达256 TOPS（FP4）、128 GB高带宽LPDDR5X内存、强大的集群支持以及通往更高性能芯片的清晰路线图为后盾，该平台将自身定位为紧凑型LLM和智能体AI系统的实用且高性价比的替代方案——前提是其定价和性能声明能在独立测试中得到验证。
