英伟达(NVIDIA)的开源大语言模型系列Nemotron刚刚通过最新发布的Nemotron 3 Super得到了显著增强,该模型凭借其超长的上下文窗口,现在主要面向智能体(Agentic)AI工作负载。

Cover Image

对于那些不了解的人来说,当我们谈论开源AI模型领域的主要贡献者时,有些人可能会想到像Kimi通义千问(Qwen)这样的中国AI实验室,但实际上,英伟达Nemotron套件在这方面处于领先地位。正如AI产业被分布在一个“五层蛋糕”中,英伟达不仅主导了基础设施和芯片层,也是西方少数几家大力投资开源模型的公司之一。为此,英伟达现已发布了Nemotron 3 Super,其主要理念是规模化运行智能体AI应用,使其成为类似OpenClaw等智能体的理想选择。

Nemotron 3 Super的一个突出方面是英伟达的混合Mamba-MoE架构。与传统的MoE模型相比,Mamba是一个非常令人印象深刻的实现。本质上,英伟达改变了大语言模型解读数据流的方式。借助这种更新的架构,Mamba依靠状态空间模型(SSM)线性读取数据,防止构建过大的上下文窗口并包含不相关信息。Mamba-MoE使Nemotron 3 Super能够为用户工作负载保持最佳的上下文窗口,从而产生最佳的智能体响应。

  • 混合架构:Mamba层带来4倍更高的内存和计算效率,而Transformer层则驱动高级推理。

  • MoE:在推理时,其1200亿参数中仅有120亿处于激活状态。

  • 潜在MoE:一种新技术,通过以激活一个专家的成本来激活四个专家,以生成推理中的下一个词元,从而提高准确性。

  • 多词元预测:同时预测多个未来单词,从而实现3倍更快的推理速度。

Mamba层带来了4倍更高的内存效率和高级推理能力,使得Nemotron 3 Super成为推理工作负载的理想选择。Nemotron 3 Super另一个令人印象深刻的特点是拥有100万词元的上下文窗口,这是Kimi 2.5窗口大小的4倍。智能体系统中有一个普遍规律:窗口越大,响应越好。这就是为什么,仅从这方面来看,Nemotron 3 Super就主导了所有其他开源大语言模型,甚至接近了Opus 4.5等模型,尽管其参数规模仅限于1200亿

谈到OpenClaw英伟达PinchBench上测试了Nemotron 3 Super,这是一套用于评估智能体工作负载的基准测试,该模型在整个测试套件中获得了85.6%的分数,超过了Opus 4.5Kimi 2.5GPT-OSS 120b。对于通过OpenClaw运行大量工作负载的用户而言,Nemotron 3 Super开启了一个全新的性能级别,其计算能力需求仅需单个GPU即可满足。

Nemotron 3 Super只是一个例子,展示了未来广泛的智能体AI系统将如何发展。有趣的是,大语言模型现在也正在克服计算限制,这就是为什么模型在边缘部署的未来比以往任何时候都更加光明。


文章标签: #英伟达 #Nemotron #开源模型 #智能体AI #大语言模型

负责编辑

  菠萝老师先生 

  让你的每一个瞬间都充满意义地生活,因为在生命的尽头,衡量的不是你活了多少年,而是你如何度过这些年。