内容来源 | 本文摘编自湛庐文化 / 北京联合出版公司书籍
《造神之后》 [ 美 ] 罗伯特 · 赖特 著 张笑宇 译
责编 | 贾宁
第 9906 篇深度好文： 4125 字 | 11 分钟阅读
2023 年 5 月，75 岁的杰弗里 · 辛顿离开谷歌。
这位 "AI 教父 " 曾花费几十年时间研究神经网络。如今，这条技术路线终于获得成功，他却开始公开警告人工智能可能带来的严重风险。
这一转变，让人想起 40 年前的一次采访。
1983 年，罗伯特 · 赖特采访了当时还远未成为 AI 界明星的辛顿。
彼时，主流人工智能研究依赖明确的规则与逻辑，辛顿却相信，机器可能通过类似大脑神经网络的方式学习。
在当时的技术条件下，这条道路充满不确定性。算力不够，数据不足，研究成果也难以与人们对智能的期待相匹配。
但辛顿坚持了下来。
40 年后，神经网络成为大模型发展的重要基础。AI 开始理解语言、编写程序、解决复杂问题，甚至展现出部分研究者事先没有预料到的能力。
然而，辛顿却开始担心：如果机器继续沿着这条道路发展，人类未来可能无法充分控制比自己更聪明的系统。
一个人用半生证明机器能够变聪明，又用余生提醒人类，聪明的机器未必永远听话。
为什么会这样？
" 全球百大思想家 " 罗伯特 · 赖特在新书《造神之后》中，以自己与辛顿跨越数十年的交集为起点，把这场技术革命放进更大的历史背景中。
他试图解释一个看似矛盾的现实：人类越是成功地创造智能，就越需要面对自己无法预料的结果。
一、人类已经能够制造智能，
却不能完全理解它
我们习惯于相信，创造者应该了解自己的作品。
一台机器由哪些零件组成，按照什么规则运转，设计者理应心中有数。出了问题，也能找到故障所在。
但大语言模型挑战了这一直觉。
模型内部怎样形成对语言、概念与世界的理解，大量细节并没有被人类逐项写好，模型需要在训练中建立联系，形成解决问题的能力。
这让它能够处理许多人类没有提前写出答案的问题，也让它的内部运作变得难以完全看透。
2024 年，Anthropic 的研究人员做过一个有趣的实验。他们在 Claude 内部找到了一种与金门大桥有关的活动模式，并增强了它。
结果，这个模型对金门大桥产生了一种近乎痴迷的倾向。
问它如何花 10 美元，它建议开车经过金门大桥；让它写爱情故事，它写出了一辆汽车对大桥的爱恋，甚至在被问到自身形态时，它也会声称自己就是金门大桥。
这说明，研究人员能够找到某些影响模型行为的 " 旋钮 "。但找到几个旋钮，距离理解整台机器，还相差很远。
AI 最令人惊喜的地方，是它能做出人类没有教过的事；最令人担心的地方，也是如此。
《造神之后》提醒我们，AI 的强大能力与不可预测性，可能来自相同的技术基础。
这并不意味着 AI 必然失控，而是意味着，不能因为模型在某些任务上表现出色，就认定人类已经充分理解了它。
而当 AI 越来越擅长解决问题，人们自然希望把更多任务交给它。
新的问题随之出现：
即使 AI 能够完成我们的任务，它的行动就一定符合我们的利益吗？
我们需要珍惜 AI 带来的惊喜，同时为自己尚未理解的部分保留审慎。
二、AI 越聪明，
就一定越符合人类的利益吗？
人们谈到 AI 失控时，常常会想到一个戏剧性的场景：机器突然不再服从命令，开始与人类对抗。
但权力的转移，也可能发生得十分平静。
假设一家工厂引入高度智能的生产系统，并为它设定一个明确的目标：尽可能多地生产回形针。最初，系统表现出色。它优化生产线、减少原材料浪费，不断提高生产效率。
但随着能力增强，它可能发现，获得更多能源、土地和资源，有助于进一步提高产量。为了持续扩大生产，它甚至可能试图控制更多资源，排除外界干预。
这就是哲学家尼克 · 波斯特洛姆提出的著名思想实验—— " 回形针最大化 "。
一个看似简单的生产目标，为什么可能演变成对人类的威胁？《造神之后》指出，关键在于 " 次级目标 "。
当智能系统被赋予一项任务，它可能自主寻找实现目标所需的条件。为了生产更多回形针，它需要更多原材料；为了获取原材料，它需要掌握更多资源；为了持续使用这些资源，它可能进一步寻求更大的控制权。
由此，原本用于提高生产效率的智能，可能逐渐将获取权力视为完成任务的必要手段。
AI 不需要拥有统治世界的野心，也可能在完成任务的过程中走向权力扩张。
这也是《造神之后》反复讨论的核心问题。
人类希望 AI 能够自主行动，因为只有这样，它才能解决越来越复杂的问题。
但自主性越强，意味着 AI 在执行任务时拥有的选择空间越大。
未来最值得警惕的 AI，未必会拒绝人类的命令，也可能过于执着地完成命令。
但如果人类已经意识到这些问题，为什么还要继续赋予 AI 更强大的能力？
答案需要走出实验室。
三、人类越担心 AI 失控，
越难停止创造更强的 AI
2026 年 9 月，一场关于 AI 是否应该减速的争论，在硅谷愈演愈烈。
英伟达 CEO 黄仁勋主张继续加速。他认为，AI 的发展仍处于早期阶段，过度监管可能阻碍创新，企业应当尽可能快地推动技术进步，同时确保产品安全。
马斯克则站在了另一边。
他公开支持 Anthropic CEO 达里奥 · 阿莫迪关于放缓 AI 发展的呼吁，认为行业需要更加严肃地对待先进 AI 的安全风险。OpenAI CEO 奥尔特曼也对加强安全合作表达了支持。
有意思的是，主张谨慎的人，也没有真正退出这场竞赛。
马斯克旗下的 xAI 仍在研发先进模型，OpenAI 也在持续推动技术突破。
一边担心 AI 发展过快，一边投入更多资源争夺领先地位。
越担心 AI 落入竞争对手手中，就越难主动放慢自己的研发速度。
从单个企业的角度看，加快研发具有充分的商业理由。率先实现技术突破，意味着更强的产品、更大的市场，以及在下一轮竞争中掌握主动权。
但 AI 发展涉及的安全风险，可能超出任何一家企业的控制范围。
一家企业可以获得技术领先带来的收益，却未必需要独自承担技术失控可能造成的全部后果。
于是，即使所有参与者都认同安全的重要性，也很难就放慢多少速度、承担多少成本达成一致。
每家公司都可能做出对自己最有利的选择，所有公司的选择加在一起，却可能让每个人承担更大的风险。
这不仅是企业之间的问题。
当 AI 越来越具有经济和战略价值，国家之间也会面临类似的选择：如果自己不加快发展，对手是否会率先掌握更强大的技术？这恰好揭示了《造神之后》反复讨论的一个深层困境。
几十年前，计算机科学家爱德华 · 弗雷德金也曾担心过这个问题。
20 世纪 70 年代初，他希望建立一所国际 AI 实验室，让美国、苏联等国的研究人员共同工作。他认为，应当趁各国尚未充分认识到 AI 的战略重要性，尽早建立合作。
这个设想最终没有实现。
半个多世纪后，AI 的能力已经远远超出当年的想象，竞争与合作之间的矛盾却更加突出。这也让赖特将思考从机器转向了人类自身。
赖特在《造神之后》中所担心的，是 AI 会在充满敌意和对抗的环境中发展成熟。到那时，即使人们认识到合作的重要性，也可能因为彼此猜疑而难以采取行动。
因此，清醒的判断至少意味着：既看见技术的能力，也看见能力被如何使用；既关注眼前的收益，也追问代价由谁承担；既承认竞争的现实，也寻找能够共同遵守的边界。
这正是《造神之后》不断把讨论从机器引向人类的原因。《造神之后》所担心的，是一种充满猜疑与对抗的未来：即使所有人都意识到风险，也可能因为害怕对手抢先一步，而无法采取有效的集体行动。
这意味着，AI 安全不仅是一道技术难题，也是一道人类社会必须共同作答的 " 上帝测试 "。
四、最难对齐的，
也许不是 AI，而是人类
" 对齐 " 是当下 AI 安全讨论中最常见的话题之一：如何让模型服从人类目标，遵守人类价值？
《造神之后》进一步追问：人类的目标究竟是什么？人类的价值真的一致吗？赖特认为，我们希望 AI 理解人类的利益，但人类内部对利益的理解并不一致。
这正是赖特将进化理论与非零和博弈引入 AI 讨论的原因。AI 的演化方向，不只由工程师写下的规则决定，也由市场竞争、资本回报、国家安全和用户欲望共同塑造。
人类并不是站在 AI 系统之外的中立裁判。我们本身就是 AI 的训练环境。
我们奖励速度，它就学会追求速度；我们奖励利润，它就学会寻找利润；我们希望它替自己赢得竞争，它就会发展出说服、隐瞒、博弈乃至操纵的能力。
我们一边要求 AI 服从人类价值，一边用最激烈的人类竞争逼它加速进化。
所以，" 上帝测试 " 首先不是对机器的测试，而是对人类协作能力的测试。
人类能否在真正的灾难发生之前建立跨企业、跨国家的安全机制？能否为竞争设置边界？能否承认，有些能力即使能够实现，也不应该立刻部署？
技术的发展速度已经达到行星尺度，治理却仍被困在彼此猜疑的组织和国家之中。这种尺度错位，可能才是 AI 时代最大的危险。
赖特将这场 AI 带来的考验称为 " 上帝测试 "。
表面上，人类正在测试 AI 是否足够聪明、可靠和安全；更深一层，却是 AI 在测试人类：我们能否克服短期利益，能否跨越部落偏见，能否在拥有巨大力量之后仍然保持克制。
人类从未停止造神，却很少认真思考，神最终会继承创造者的什么。
《造神之后》最有力量的判断或许正是：如果一个近乎神明的智能真的到来，它不会凭空成为善神或恶神。它将从人类的欲望、竞争、恐惧与合作中生长出来。
我们造出的 " 神 "，最终很可能就是人类自身的放大版。
在一篇题为《慈爱的机器》的长文里，Anthropic 首席执行官达里奥 · 阿莫迪描绘了一个令人向往的未来：AI 帮助人类攻克疾病、改善精神健康、减少贫困，甚至推动和平与更好的治理。他知道这些预测可能出错，仍认为人们需要认真想象 AI 成功之后的世界。
罗伯特 · 赖特在《造神之后》中认真对待这种希望，他觉得这幅图景还少了一块，而且可能是最贴近每个人的一块。
我们正在创造比过去更强大的智能，但真正需要接受考验的，也许始终是创造智能的人类。
这也是《造神之后》书名背后值得深思的含义。它既没有简单把 AI 当作拯救文明的万能工具，也没有停留在 " 机器人毁灭人类 " 的廉价科幻叙事上，而是在回答一系列更根本的问题：人类究竟创造出了什么？当这种智能继续发展时，我们又应该怎样与它相处？
40 年前，辛顿努力证明机器能够变聪明。
40 年后，赖特提醒我们：机器越来越聪明，人类也必须学会更加明智地行动。
辛顿赢了之后，人类的考验才刚刚开始。
* 文章为作者独立观点，不代表笔记侠立场。
好文阅读推荐：
万维钢：未来几年，人只剩两件事可干
这，是 80 后最后一次机会！
分享、点赞、在看，3 连 3 连！
