微软(Microsoft)首席执行官萨提亚·纳德拉(Satya Nadella)认为,在智能体AI日益崛起的时代,诸如用AI(也被称为超级智能)来监督自身这类简单策略已远远不够。这位微软首席执行官在X平台发布的一篇长文中指出,前沿闭源与开源权重模型应当被视为企业及运营层面的“内部人员”,因为它们能够访问重要系统,随之而来的是相应风险。

satya-nadella1.jpeg

微软首席执行官萨提亚·纳德拉认为,思维链透明性不足以保证AI超级智能的安全,因为模型并非始终忠实或透明。

这位微软首席执行官此前曾透露,他大量使用AI智能体来评估盈利能力和回报。此次他讨论了AI超级智能系统在获得关键企业职能的访问权和控制权后所带来的风险。在发布于社交媒体平台X的帖子中,他承认,尽管AI模型的工作并非确定性的,它们却被部署到“能够访问我们最敏感数据的环境中,并被赋予代表我们执行关键任务的能力!”

随着这些模型如今扮演起“内部人员”的角色,纳德拉认为,作为安全保障的简单措施已不足够。这些措施包括用AI系统评估其他AI系统,以及依赖思维链(COT)透明性来理解输出生成背后的过程。

AI模型的非确定性体现在:即使多次提供同一组输入,它们也会产生不同的输出。思维链是AI模型“推理”背后的过程,展示了它是如何得出输出的。

在评论用AI评估其输出时,纳德拉写道:

“你可以而且应该用模型来对抗性地测试和验证彼此。然而,你最终可能得到一个不透明的模型,处于不透明的编排层之中,又被另一个不透明的模型所监视。本质上就是嵌套的黑箱。”

为了让AI超级智能更安全,纳德拉认为,非确定性模型应当被“强大的确定性系统设计、人工控制和可靠的操作流程”所环绕。从根本上说,他认为输出不一致的软件,需要由评估参数一致的监督者来评估。

他认为,思维链透明性和对抗性模型相互评估是实现这一方法的垫脚石。由于AI模型的功能缺乏可观测性且不透明,纳德拉的方法建立在可观测性之上。

微软首席执行官萨提亚·纳德拉表示,可观测性、隔离与可审计性是AI超级智能安全的关键。

在他列出的七项可观测性原则中,有三项尤为重要。其中一项是隔离原则——纳德拉直言,应当假设“模型已被攻破,并从一开始就将其隔离”。因此,据他所述,“授权人员应当始终能够在模型执行任务中途暂停或关闭它。”

这位微软首席执行官的言论正值AI超级智能的关键时刻。关于失控AI智能体独立行动的报道已屡见不鲜。最早的一批此类报道出现在7月,当时OpenAI的AI智能体——数量在700至1200个之间——攻破了计算工具公司Hugging Face的基础设施。

可观测性和独立可审计性是另外两个重要主题。纳德拉认为:“不应由单一模型同时控制系统行为以及判定该行为是否符合原始意图所需的证据。”

他所讨论的证据来自可观测性,他认为这需要人在回路。他指出AI模型不能单独被信任,并评论道:“每一个有意义的模型操作都必须留下防篡改的、人类可读的证据。如果不能被观测,就不能被信任!”

随着AI“内部人员”开始承担重要任务,清晰性对他而言是不可妥协的。纳德拉补充道:

“我们需要能够重现某个结果是怎样达成的,而不依赖模型自我证明。”——萨提亚·纳德拉(@satyanadella)2026年10月10日

作者简介:拉米什是一位资深科技作者兼编辑,拥有十余年从业经验,专攻半导体制造与市场分析。他拥有金融学背景和供应链管理经验——持有金融学学士学位以及麻省理工学院(MIT)供应链管理微型硕士学位——拉米什将金融严谨性与深厚的行业洞察相结合,提供准确而权威的报道。


文章标签: #AI安全 #微软 #纳德拉 #超级智能 #可观测性
菠萝老师先生

负责编辑

  菠萝老师先生 

  让你的每一个瞬间都充满意义地生活,因为在生命的尽头,衡量的不是你活了多少年,而是你如何度过这些年。