上周,围绕《Ox Alpha》这个AI模型的谜团还浓得化不开。然而,仅仅几天之后,这个谜团就被解开了,而揭开谜底的正是中国AI实验室智谱(Zhipu),它确认了Ox Alpha就是自家的GLM-5.3-Flash模型。

Zhipu-GLM-5.3-Flash-1-1.jpeg

正如我们上周所指出的,有人在8月20日匿名将Ox Alpha上传到了OpenRouter和OpenCode平台,提供了100万token的多模态(文本、音频、视频)上下文窗口、131,072token的输出限制,以及每天处理100万亿token的能力,并且整整一周完全免费。

当时,人们几乎一致认为Ox Alpha属于GLM系列家族,尤其是因为其视频编码管道、分词器数学计算以及逐字符的响应方式都与智谱的架构高度相似。但也有其他人认为,该模型实际上是微软(Microsoft)即将推出的前沿模型,代号为MAI 2,理由是Ox Alpha使用了OpenAI开发的字节对编码(BPE)分词器cl100k_base。

无论如何,智谱终于解开了这个谜团,在其官方博客中声明:

“在发布之前,我们在OpenCode和OpenRouter上以ox-alpha的匿名形式测试了GLM-5.3-Flash,以收集用户反馈。它迅速成为当周最受欢迎的模型——所有这些流量都由中国AI芯片提供服务。”

更重要的是,该AI实验室特别强调,Ox Alpha“完全在中国AI芯片上运行”。这表明,华为(Huawei)的昇腾(Ascend)级GPU很可能为GLM-5.3-Flash测试周期间每天约100万亿token的处理能力提供了算力支持。

智谱AI的GLM-5.3-Flash将KV缓存大小相对于GLM-5.3模型减少了4.4倍

就架构而言,智谱的GLM-5.3-Flash结合了线性注意力机制与稀疏注意力机制。线性注意力就像一台快速移动的扫描仪,顺序读取文本,并在此过程中更新一个单一的、紧凑的“心理摘要”(即KV缓存);而稀疏注意力则让模型保留相对详细的信息,但将其归档到单独的文件夹和较慢的内存层级中,通过索引在需要时检索特定细节。

GLM-5.3-Flash还使用了一个名为IndexPool的组件,它将每一条关键信息压缩到一张高度密集的“数字主表”中,就像一个为整个给定上下文(输入)服务的闪电般快速的数字索引。

最后,该模型还使用了一种名为流形约束超连接(Manifold-Constrained Hyper-Connections,简称mHC)的协议,它规定了模型内部各层之间如何相互通信。想象一下,你在律师事务所工作,每个员工都试图给其他所有员工打电话传达新信息,这很快就会变成一片震耳欲聋的嘈杂声。mHC协议则强制将所有连接置于一个严格的几何结构(即称为Birkhoff多胞形的流形)上:每次你混合多条信息流时,其总体积在数学上必须恰好等于100%。

为了强制执行这个100%体积规则,GLM-5.3-Flash使用了一种算法(称为Sinkhorn-Knopp)。如果某一层开始过于大声地“喊叫”其信息,该算法会自动且平滑地调低其他层的“音量”以进行补偿。这样一来,模型就能轻松地在其架构中传递复杂精妙的思路,而不会遭遇硬件“内存墙”或阻塞系统。

上述所有这些架构元素都意味着GLM-5.3-Flash相当高效。事实上,智谱指出:

“为了说明我们架构的效率,我们将GLM-5.3-Flash的每token计算量和KV缓存大小与GLM-5.3以及两个近期开源模型DeepSeek-V4-Flash和Kimi-K3进行了比较。为了实现不同规模之间的公平比较,我们计算了每头每层的注意力计算量和每层平均KV缓存大小(BF16)。与GLM-5.3相比,GLM-5.3-Flash将注意力计算量和KV缓存大小分别减少了3.0倍和4.4倍。GLM-5.3-Flash在所有比较模型中具有最低的注意力计算量。KV缓存大小仍略大于Kimi-K3和DeepSeek-V4-Flash,还有进一步改进的空间。”

结合该AI实验室最新的30万亿token多模态预训练语料库,GLM-5.3-Flash能以仅约1/10的成本提供Claude Opus-4.8级别的性能,也就不足为奇了。

至于智谱如何在中国GPU上提供如此庞大的计算能力,该AI实验室表示:

“在集群规模上,我们生产级的编码-预填充-解码(Encode-Prefill-Decode,简称EPD)分离式架构将多模态编码、提示预填充和逐token解码分离为独立调度和可扩展的工作进程池,从而能够在数万个国产加速器上实现高效、可靠的推理服务。”


文章标签: #人工智能 #GLM #国产芯片 #AI模型 #智谱
菠萝老师先生

负责编辑

  菠萝老师先生 

  让你的每一个瞬间都充满意义地生活,因为在生命的尽头,衡量的不是你活了多少年,而是你如何度过这些年。