随着OpenAI与Anthropic双双强力限制中国AI实验室蒸馏其领先模型的能力，许多人原本预计Moonshot的Kimi K3.1 Pro会就此折戟。然而，这一预测最终并未成真。不仅如此，Moonshot似乎还超出了最严苛批评者的预期，交出了一款在Artificial Analysis Intelligence Index上稳稳超越GPT-6 Astra和Claude Fable 5.1的模型。
Moonshot的Kimi K3.1 Pro保留了Kimi K3模型的架构要素，同时采用了大幅扩展的后训练计算框架，针对3D合成、高级金融建模和智能体工作流进行了优化。
在深入探讨架构细节之前，请注意关于Kimi K3.1 Pro的以下信息：
总参数量：2.8万亿。
激活参数量：每token 1040亿（激活率约1.8%）。
上下文窗口：原生100万token上下文。
位置嵌入：在整个网络中采用NoPE（No Positional Embeddings），完全舍弃了传统的RoPE层，从而实现更灵活、更大的上下文窗口，更好的泛化能力以及更高的计算效率。
量化：采用MXFP4权重与MXFP8激活，通过量化感知训练实现，以大幅提升硬件效率。
定价：每100万输入/输出/缓存命中token分别为2美元/10美元/0.20美元，三项费率均比Kimi K3低33%。
开放权重将于11月4日发布。
一个AI模型基本上由一系列transformer块组成，这些块由两个关键要素构成：
注意力层负责考察句子中词与词之间的关联方式。例如，如果你给模型一个提示“巴黎是法国的首都”，注意力层会将“首都”一词与“法国”关联起来，并识别出“巴黎”是答案。即便如此，该层并不理解法国或巴黎的含义，而是会以KV cache的形式保存这些记录。随着上下文增长，KV cache也随之增大。
前馈网络（FFN）以权重的形式承载模型的全部知识总和，正是这一层运用深奥的数学公式挖掘每个词背后的含义。这通常被称为激活值或隐藏状态，构成了模型在token经过多个transformer层处理时生成的内部数学表示。例如，它会审视“法国”并激活其国家百科，以挖掘该词的预期含义。
与主流的二次注意力方法（KV cache随给定上下文呈线性增长）不同，Kimi K3.1 Pro采用了Kimi Delta Attention（KDA），这是一种混合线性注意力机制，并以3：1的比例使用循环状态与混合交错状态。
为简化这一概念，请记住传统方法要求模型把它读到的每一句话都写在单独的便利贴上，这意味着KV cache会随上下文增长而变大，拖慢整体处理速度。
而Kimi K3.1 Pro的方法则使用三名助手（循环状态），每名助手都在一张便利贴页面上持续记录真正重要内容的摘要。无论上下文变得多长，摘要的大小都不会增加，因为更陈旧的信息会被擦除。
然而，这不可避免地会导致这些助手遗漏某个非常具体的微小细节（比如第100页上的一个电话号码）。为弥补这一缺陷，第四名助手（称为混合交错状态，更具体地说是门控多头潜在注意力层）会对整个上下文拍摄快照，然后进行压缩，类似于把一部4K电影压缩成一个小小的zip文件。每当模型觉得需要查看那份“全局快照”时，它会临时解压文件，瞥上一眼，然后再度压缩。
由此形成的模式如下：
助手1（KDA）：维护一份快速摘要记录。
助手2（KDA）：维护一份快速摘要记录。
助手3（KDA）：维护一份快速摘要记录。
助手4（全局注意力）：对一切拍摄一张完美、如实的照片。
这一模式不断循环重复。而由于4名助手中有3名采用超快的内存层方法，KV cache得以大幅缩减。综上所述，Kimi K3.1 Pro共有69层，但每3层之后便放置一个门控多头潜在注意力层（共24个这样的层）。
Kimi K3.1 Pro在Artificial Analysis Intelligence Index上超越GPT-6 Astra和Claude Fable 5.1。Kimi K3.1 Pro在Artificial Analysis Intelligence Index上得分为55，高于Anthropic的Claude Fable 5.1和OpenAI的GPT-6所获得的53分，排名仅次于Claude Opus 5.5、Claude Sonnet 5.5和Meta的Muse Wonder Full。它还在Code Arena上排名第8，与Claude Opus 5持平。
此外，Moonshot透露，在一个未删减版本成功解决了其内部Linux内核、Node.js和Exim漏洞利用任务的90.5%之后，它从Kimi K3.1 Pro的中期训练和强化学习（RL）阶段“识别并移除了网络相关数据”。即便如此，这似乎也几乎未能拖慢它的脚步，该模型在xdev-bench-hard上取得了81%的成绩。
