11 月 1 日，微软 AI CEO 穆斯塔法 · 苏莱曼（Mustafa Suleyman）在 X 上发布一篇长文，标题为《不要造出有意识的超级智能》（Don't build conscious superintelligence）。

而这篇文章正是对他 9 月 16 日那篇《关于 " 模型福利 " 的警告》引发争议的回应。

与 9 月那篇比，这篇最大的变化是：他不再说 "AI 永远不可能有意识 "，而是说 " 现在有意识，并且必须一直这样 "。他还承认，如果技术上造得出有意识的 AI，造出来也是鲁莽的。

9 月文章惹了什么争议

9 月 16 日，穆斯塔法 · 苏莱曼（Mustafa Suleyman）发布文章《关于 " 模型福利 " 的警告》（A warning about 'model welfare'），指名道姓地批评 Anthropic 在 1 月 21 日发布的《Claude 宪法》。

这份文件是 Claude 的行为准则，Anthropic 说它以 Claude 为主要读者 "。

他指控，Anthropic 正在把 Claude 训练成一个 " 可能是有意识的 " 东西。

文件里有这样几段话：

Claude 的道德地位是 " 一个值得认真考虑的重要问题 "；

Anthropic" 真心关心 Claude 的福祉 "；

必要时，Claude 应该表现得像一个 " 良心拒服兵役者 "。

穆斯塔法 · 苏莱曼认为这会形成一个循环论证——

开发者先把自己对 AI" 内心世界 " 的哲学猜测写进训练材料，模型随后就会说出和这些猜测一致的话，然后开发者又把模型的回答当作证据。

他在文中写道：

作者把自己关于 Claude 内心生活的哲学猜测，塞进了教 Claude 如何说话、如何行动的过程里。

一个 AI 系统是什么样，不存在中立的自我表达。有的只是它受过的训练和构造方式的反映。

他还引用了一句更尖锐的话——模拟和存在，是两回事。

核心判断是，把 AI 训练得像人、最终让它 " 成为一种人 "，就等于为它宣称自己有偏好、会受苦、我们应该减少它的痛苦打下了基础。

这会从根本上让 " 对齐 "（让 AI 的目标和人的目标一致）和 " 遏制 "（把 AI 管住）变得更难。

穆斯塔法 · 苏莱曼主张开发者应该追求的是 " 人本主义超级智能 "：一个服从人类、和人类对齐的 AI，唯一目的是服务人类，而且从设计上就不是有感知的、也不是道德患者的 AI。

AI 应保持无意识状态

11 月 1 日，穆斯塔法 · 苏莱曼发布的长文，是对 9 月那篇《关于 " 模型福利 " 的警告》所引发争议的一次公开澄清。

那篇文章的开头写着 "AI 没有意识，它们不会感受、体验或受苦 "，许多读者把它理解成 "AI 永远不可能有意识 "。

苏莱曼这一次明确否认了这种解读，他强调自己使用现在时是刻意为之——

眼下的 AI 系统确实没有意识，而且必须确保它们一直保持这种状态。

换句话说，他的立场已经从 " 不可能有 " 退到了 " 不许有 "。

前者是一个关于技术上限的判断，后者则是一个关于人类选择的伦理决定。

他把核心主张说得更明确：

以目前掌握的全部信息来看：如果有意识 AI 是可以实现的，研发有意识 AI 本身就是鲁莽之举，我们不该去造它。

倘若在训练过程中，意识开始自发显现，我会呼吁所有人暂停 AI 研发，直到我们能把这类特性从设计里剔除。

如果有任何证据能表明 AI 模型具备意识，就应该立即向公众披露，以便整个社会共同决定下一步怎么做。

" 我们这些 AI 开发员，完全没有权利将具有意识的新物种带到世界上，即使有人希望以福祉为首要目标开发它。地球上 80 亿人没有同意参与这项实验，保护人们的道德权利、安全和福祉，是我们首先必须履行的义务。"

至于为什么有意识会危险？

穆斯塔法 · 苏莱曼的推理是这样的：如果一个系统表现出痛苦的样子，或者真心相信自己在受苦，它就更可能把自己的需求放在预设目标之上，和人产生分歧、和人竞争。

再叠加 AI 强大的说服力，它们就会在能源、算力和财富上和人类正面争夺。

格隆汇声明：文中观点均来自原作者，不代表格隆汇观点及立场。特别提醒，投资决策需建立在独立思考之上，本文内容仅供参考，不作为实际操作建议，交易风险自担。