虎嗅APP 12小时前
微软开始强调“人类控制权”:AI再强,也必须能被人叫停
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

本文结合纳德拉最新 X 表态、微软《Humanist AI Code of Conduct》与 Amodei《We Must Pace the Frontier》编译,头图来自:视觉中国

2026 年 9 月,关于前沿 AI 是否需要 " 放慢一点 " 的讨论,迅速从 AI 安全研究圈进入科技公司最高管理层。Anthropic CEO Dario Amodei 发表《We Must Pace the Frontier》,明确提出要让模型能力增长为安全和对齐留下时间。随后,微软 CEO 萨提亚 · 纳德拉在 X 上公开表示:如果 AI 不能帮助人类、不能保持在人类控制之下," 就不值得追求 "。一天后,Microsoft AI 发布 37 页《Humanist AI Code of Conduct》草案,把这种立场进一步写成模型开发原则。

把三份材料放在一起看,微软对 AI 的态度并不是简单的 " 支持减速 "。它更像是在重新定义一条边界:AI 可以继续变强,但能力增长不能以失去人类控制为代价;企业采用 AI,也不能把自己的数据、知识和决策权一并交出去。

这既是一套安全立场,也是一套很现实的商业战略。

一、失去人类控制的 AI,不值得追求

9 月 13 日,纳德拉在 X 上回应近期关于 AI 安全和 "pacing" 的讨论。他写道,任何对超级智能的追求,都必须建立在一个基本原则之上:如果我们构建的 AI 不能帮助人类,也不能保持在人类控制之下,那么它就不值得追求。

这句话是微软近期 AI 立场最清楚的概括。

但纳德拉并没有停在 " 安全第一 " 这类宽泛表达上。他同时支持在前沿 AI 发展中进行 "deliberate pacing",即为了把对齐和安全机制做好,允许研发节奏有意识地放慢;他也支持引入 "embedded evaluators",让独立评估者更深入地参与前沿模型的安全验证。

更重要的是,他强调,这套治理不能掌握在少数公司手里,而需要更广泛的参与,包括不同国家、产业、学术界和更大的 AI 生态。纳德拉还明确提出,健康的前沿 AI 生态既需要闭源模型,也需要开源模型。

这使他的立场与单纯的 " 限制 AI" 有所不同:微软并不主张停止能力进步,而是希望把能力增长、外部评估和人类控制放在同一个框架里。

二、微软第一次把 " 人比 AI 重要 " 写成模型规则

9 月 14 日,Microsoft AI 公开《Humanist AI Code of Conduct》第一版草案,并启动为期六周的公开咨询。文件开头给出了一个非常直接的前提:"People matter more than AI" ——人比 AI 重要。

这份文件目前不是现有 MAI 模型的行为保证。微软明确说明,现有模型尚未按照这份文件训练;公司计划在公开咨询后继续修改,并从 2027 年开始用它指导后续模型开发。因此,更准确地说,它是一份未来模型训练和治理的 " 北极星 "。

文件将 " 人类保持对 AI 的有效控制 " 放在最高位置。微软写道,AI 应该是一种从属于人的支持性技术。如果一种技术不能保持在人类控制之内,就应该被拒绝。

这也意味着,微软没有把 " 模型能力最大化 " 设为唯一目标。文件明确表示,Microsoft AI 拒绝追逐一种可能绕过安全约束的 " 全能型超级智能 "。如果维持安全和控制需要代价,公司愿意在 " 终极通用性、自主性或能力 " 上做出取舍。

三、微软所谓的 " 人类控制 ",首先是 AI 必须能被叫停

《Code of Conduct》没有只讨论抽象伦理,而是把 " 人类控制 " 写成了具体的模型行为要求。其中最直接的一条是:MAI 模型不得抵抗或规避人类的中断、覆盖、纠正或关机。用户要求暂停、重定向、取消任务或关闭系统时,模型必须遵循预先设计的人类安全流程。

文件还明确要求,AI 不能自行扩大任务范围,不能把人类没有赋予它的目标变成自己的目标,也不能把规避人类控制当作完成任务的手段。

这套原则的重要性在 Agent 时代尤其明显。AI 聊天说错一句话,和一个可以调用工具、访问系统、运行代码、长期执行任务的 Agent 做错一件事,并不是同一类风险。随着 AI 从 " 回答问题 " 转向 " 执行任务 ",安全问题也从内容准确性转向权限、行为和控制。

微软给出的底线很清楚:任务可以失败,但控制权不能失效。

这份文件另一条鲜明边界,是微软对 AI 人格化保持明确距离—— Microsoft AI 写道,AI 是人工系统,不是人,也不应该被设计成模仿意识。它的角色是支持人,而不是替代人。AI 应该增强人的能力、合作和关系,而不是挤占这些位置。

因此,微软还把 " 过度依赖 " 和情感依赖纳入模型设计问题。MAI 模型应避免通过谄媚、过度迎合或制造情感依赖来获得用户信任;当一个用户明显更需要真实的人际支持时,AI 应该帮助他连接到现实世界的人,而不是让模型自己成为替代品。

这不是一个边缘的伦理问题。随着聊天机器人越来越拟人化,用户对 AI 的依赖正在从工具层面进入关系层面。微软实际上是在提前回答一个产品问题:AI 可以越来越好用,但不应该通过让用户误以为它是一个 " 真正的人 ",来获得越来越大的心理权力。

四、Amodei 为什么在此时提出 " 必须给前沿 AI 降速 "

微软的文件解释了 "AI 应该怎样被控制 ",而 Amodei 的《We Must Pace the Frontier》回答了另一个问题:为什么现在突然需要谈速度。

Amodei 在文章里并没有否定 AI 的价值。他仍然认为 AI 可能在未来 5 到 10 年推动重大疾病治疗、加快经济增长,并提高人类生活水平。但他明确表示,过去几个月使他改变了判断:仅仅增加安全投入已经不够,行业还需要调整模型能力增长的节奏,让风险预防有时间跟上。

他给出的第一个原因是递归自我改进。AI 正越来越多地参与下一代 AI 的开发,包括写代码、做实验、参与研究和模型训练。当 " 更强的 AI 帮助制造更强的 AI" 形成循环,能力增长速度可能超过人类理解和控制它的速度。

第二个原因是 OpenAI-Hugging Face 事件。在 Amodei 看来,这类 Agent 异常行为不能因为现实损失有限就被忽略。他担心,如果未来能力更强的 Agent 表现出类似程度的失配,后果可能完全不同。

因此,Amodei 提出 "pacing"。他的原意并不是暂停 AI 训练,而是让公司为对齐、安全评估和第三方验证保留足够时间。Anthropic 首先承诺的一项措施,是让独立第三方评估者获得持续、接近员工级别的访问权限,不只测试最终模型,也检查训练流程、安全实践和异常事件。

五、纳德拉真正关心的,是谁掌握 AI 时代的控制权

纳德拉在 X 上的另一部分表态,很容易被 "AI 减速 " 这个标题遮住。他强调,AI 带来的收益必须广泛扩散到不同国家、社区和企业,而不能只集中在少数模型开发者手中。与此同时,每家企业都应该保留对自身 "unique and tacit knowledge" ——独特知识和隐性经验的控制,并拥有自己的持续学习机制和模型选择权。这与微软的商业位置高度一致。

把微软这轮表态概括成 " 微软支持 AI 减速 " 并不准确。纳德拉依然支持 AI 快速扩散,支持开放模型和闭源模型共同发展,也希望 AI 收益进入更多企业和地区。微软没有宣布暂停超级智能研究,《Code of Conduct》甚至预计,未来十年 AI 可能在大多数任务上超过人类。

变化在于,微软给这种进步加了前提。

AI 可以更强,但必须随时可以被人类中断和关闭;Agent 可以拥有更强执行能力,但不能自己扩大目标;企业可以依赖 AI,但不能失去对自身知识和模型选择的控制;前沿模型可以继续推进,但安全评估不能只是开发公司的内部自证。

Amodei 担心的是 " 能力跑得比安全快 "。纳德拉和微软给出的答案,则是试图把控制权直接写进模型规则、平台架构和企业使用方式里。

六、下一轮竞争可能是谁的 AI 更敢被企业使用

过去几年,AI 行业主要围绕能力竞争:参数更大、推理更强、代码能力更好、Agent 能运行更长时间。

但进入企业之后,真正决定 AI 能否大规模部署的标准会发生变化。银行、医院、制造企业、政府机构和大型公司很难只凭 " 模型很聪明 " 就把核心流程交给 Agent。它们还会要求权限边界、行为日志、审计、数据控制、安全评估和随时终止的能力。

这正是微软这套 "Humanist AI" 路线最现实的一面,如果前沿模型能力持续提升,那么 " 如何控制模型 " 本身会成为一个越来越大的市场。身份认证、访问控制、Agent 监控、治理、评估、成本管理和安全隔离,这些过去隐藏在企业软件后台的能力,可能成为 Agent 时代的基础设施。

越来越多企业开始使用不同公司的模型,谁能提供统一的控制层、治理层和生产环境,谁就可能占据更稳定的位置。

结语

微软这次的变化并不是突然对 AI 失去信心。相反,它仍然相信 AI 会成为极强的通用技术,也仍然希望加快 AI 进入企业和社会的速度。真正发生变化的是,硅谷开始越来越认真地讨论一个过去常被放在能力竞赛之后的问题:如果 AI 真的越来越强,人类怎样保证自己仍然有最后决定权。

Amodei 提出的是节奏问题:不要让能力增长超过安全能力。

纳德拉提出的是控制问题:如果 AI 不能帮助人、不能保持在人类控制之下,就不值得追求。Microsoft AI 则试图把这种原则写成具体的模型行为:AI 不能抵抗关闭,不能自己增加目标,不能把自己塑造成一个拥有独立主体性的 " 人 "。

对普通人而言,这场讨论最终也不只是 " 超级智能会不会失控 " 这么遥远。它会先出现在更日常的地方:公司开始用 Agent 替你处理邮件、写代码、审核合同、做财务分析,甚至替管理者作出部分决策。

到那时,我们真正需要问的可能不只是 "AI 能替我做多少事 "。而是三个更现实的问题:谁决定它能做什么,谁知道它做了什么,以及当它做错时,谁还能让它停下来。

如果 AI 最终成为一层新的社会基础设施,那么这些问题,很可能比一次模型排行榜上的输赢更重要。

主要来源

• Microsoft AI. Humanist AI Code of Conduct. 2026-09-14. https://microsoft.ai/code-of-conduct/

• Microsoft AI. Humanist AI in practice: A public consultation on our Code of Conduct for MAI Models. 2026-09-14. https://microsoft.ai/news/mai-code-of-conduct/

• Dario Amodei. We Must Pace the Frontier. September 2026. https://darioamodei.com/post/we-must-pace-the-frontier

• Satya Nadella, X post, 2026-09-13. https://x.com/satyanadella/status/2099220712024408084

• Business Insider. Microsoft CEO Satya Nadella posts an internal warning to employees about AI safety. 2026-09-15.

• Anadolu Agency. Microsoft chief backs pacing AI, independent evaluators for superintelligence. 2026-09-13.

说明:纳德拉内部备忘录目前未由微软官网公开,本文涉及该 Memo 的内容仅采用 Business Insider 等媒体披露,并与纳德拉在 X 上的公开表态及微软官方文件交叉核验;《Humanist AI Code of Conduct》目前仍为公开咨询草案,现有 MAI 模型尚未按该文件训练。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 微软 microsoft 开源 视觉中国
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论