智东西

作者 | ZeR0

编辑 | 漠影

智东西 9 月 11 日报道，今日上午，在 2025 Inclusion · 外滩大会开幕式上，2024 年图灵奖得主、" 强化学习之父 " 理查德 · 萨顿（Richard Sutton）发表主旨演讲。他认为，人类数据红利正逼近极限，人工智能（AI）正在进入以持续学习为核心的 " 经验时代 "，潜力将远超以往。

知识来自于经验，可以从经验中学习。一个智能体的智能程度，取决于它能预测并控制自身输入信号的程度。经验是一切智能的核心与基础。

强化学习带领我们进入了新的经验时代，但要释放全部潜力，还需要两项目前尚不成熟的技术——持续学习（continual learning）和元学习（meta-learning）技术。

面对外界对 AI 带来偏见、失业甚至人类灭绝的担忧，萨顿认为，这种对 AI 的恐惧被夸大了，并且是被某些从中获利的组织和个人煽动起来的。

" 人类最卓越的超能力，就在于比其他任何动物都更擅长协作。" 在萨顿看来，AI 和人类繁荣将来自于去中心化协作。目标不同的智能体，可以通过去中心化的协作实现双赢。

他预测当今人类的智力水平，很快将会被超级人工智能，或者超级智能增强的人类远远超越，权力和资源会流向最聪明的智能体。

在人类的发展进程中，AI 的替代将是不可避免的。

萨顿认为，人类的独特之处在于 " 把设计推向极致 "，创造出能自己设计的事物，这也正是今天通过 AI 所追求的目标。

人类至少是催化剂，是助产士，更是开启宇宙第四大时代—— " 设计时代 " 的先驱。

"AI 是宇宙演化的必然下一步，我们应以勇气、自豪和冒险精神来迎接它。" 萨顿说。

以下是理查德 · 萨顿演讲全文：

在接下来的发言中，我将围绕这个主题谈三个方面：我想谈谈科学发展趋势，政治影响，以及哲学意义。

一、数据红利逼近极限，AI 进入 " 经验时代 "

我们处在 " 人类数据时代 "。AI 被训练来预测人类的语言和标签，并由人类专家不断微调。

今天大多数机器学习的目的，是把人类已有的知识转移到一个静态、没有自主学习能力的 AI 上。

但是，我们逐渐开始达到人类数据的极限，我们开始意识到，这种方法通常无法生成新的知识，它并不适合持续学习，它不能持续不断地学习，而持续学习对智能的效用至关重要。

播客主持人 Dwarkesh Patel 意识到了这一点。他在播客中说：" 但根本问题在于，大语言模型并不会随时间推移而变得更聪明，这和人类不一样。这种缺乏持续学习能力的情况，是一个非常非常大的瓶颈。在很多任务上，大模型的基准表现可能优于人类的平均水平，但我们没办法给模型提供高层次的反馈，只能接受它本身自带的能力，只能不断折腾调整提示词，但在实践中，这根本达不到人类那种学习和进步的程度。人类真正的优势，并不在于单纯的智力极限，而在于他们能够不断积累上下文，反思失败，并在实践中一点点改进、提升效率。"

关于 " 智能 " 的根本科学争议是，它究竟是大量知识的积累，还是快速学习的能力。

当然，智能只是一个词，我们可以按自己的意愿使用它，但我们应该清楚它历来是如何被使用的。

我们看看传统的智力测量方法，也就是 " 智商 "，或者 IQ，它等于你掌握的知识量除以你所积累的经验。所以，在我看来这个定义正是在衡量学习的速度，学习速度，是常识所理解的 " 智力 " 的关键。

现在我们正进入 " 经验时代 "，我们需要一种新的数据源，它随着智能体的变强大而不断增长和完善，就像电脑游戏中的自我博弈一样。

这类数据也可以不依赖自我博弈，而是由智能体以第一人称与世界互动直接生成，我称之为 " 经验 "。这正是人类和其他动物的学习方式，也是 AlphaGo 创造第 "37 步 " 的方式，也是 AlphaProof 近期在国际数学奥林匹克中获得了银牌的方式。

观察婴儿与各种玩具玩耍的视频，我们会看到他所获取的数据，取决于他自己的一举一动。孩子和这个玩具玩一段时间，然后转向下一件玩具，所以他获得的数据由他的行为决定。关键在于，我们需要与智能体的智力水平和认知发展相匹配的数据，这正是可以从自身经验里得到的东西。

关于经验思维模式，是智能体与世界交换信号，这些信号构成了它的 " 经验 "。

我这里说的 " 经验 "，并不是含糊的概念，而是指这三项很具体的要素：观察、行动和奖励。这三种信号在智能体与世界之间来回传递，这就是我定义的 " 经验 " ——这是生命的数据。

所以我很笃定认为，知识来自于经验，因此可以从经验中学习。一个智能体的智能程度，取决于它能预测并控制自身输入信号的程度，特别是奖励信号。经验是一切智能的核心与基础，这就是基于经验的思维方式。强化学习领域正是基于这种思维方式。

总而言之，在人工智能未来的科学趋势上，未来如果能创造出超级智能体和由超级智能增强的人类，将为世界带来纯粹的福祉。

完全智能的智能体必须从经验中学习，这超出了大型语言模型的范畴，令人惊叹且实用，将作为世界知识的可定制接口。

我们已经使用强化学习进入了新的经验时代，但要释放经验的全部潜力，还需要我们现在还不具备的持续学习和元学习技术。

二、AI 已经被高度政治化，对 AI 的恐惧被夸大

现在，我想对 AI 的政治影响谈一点看法。

首先要指出的是，今天 AI 已经成为高度政治化的议题。AI 是国家地缘政治竞争的焦点，公众也感到恐惧。除地缘政治之外，公众担心 AI 会带来偏见、失业甚至导致人类灭绝。

一些国家正在陆续立法，限制 AI 模型的能力，更有人呼吁暂停 AI 研究，将其与核武器和生物武器相提并论。

总而言之，对人工智能的规制、管控和对齐的呼声此起彼伏，这就是现实：AI 已经被高度政治化。

我的观点是，这种对 AI 的恐惧被夸大了，并且是被某些从中获利的组织和个人煽动起来的。

但实际上，这些问题在人类几千年来一直在应对的挑战并无不同。

让我们提出一个问题，在一个由智能体构成的社会里，类似人类社会，在一个人工智能社会，" 目标是唯一的，还是多元的？"

在强化学习中，我认为这是明确的，每个智能体都有自己的目标，也有自己的奖励。同样，在自然界中，每只动物都有它自己的痛苦和快乐。

回看我们的经济，只有当每个人有不同的目标和能力，经济才能运行得最好。经济并不真正依赖于人们拥有共同目标，尽管我们常把这类说法挂在嘴边。

只要我们审视现实世界、经济和社会，我们可以说智能体也能够共存，不同的智能体可以和平共处，即便它们的目标不同，我们并不需要所有人都对齐同一个目标。

为了进一步展开，我需要多说明几句。

我们需要定义两个词：" 去中心化 " 的定义是每个智能体追求自己的目标，这正是我们经济体系的运行方式；" 协作 "，就是目标不同的智能体，通过互动实现双赢。

我认为，协作就是我们的伟大超能力，人类最卓越的超能力就在于我们比其他任何动物都更擅长协作。

协作之所以能实现，在于语言和货币——这两样都是人类独有的。

人类最伟大的成功在于协作本身：经济、市场与政府。

人类的重大失败正是协作失败：战争、偷窃与腐败。

" 去中心化协作 " 是 " 共同目标 " 的替代方案，在我看来，" 去中心化协作 " 更优雅，它更可持续、更强韧、更灵活，适应性更强，它并不需要控制人们的目标。

正如我所说，人类比其他任何动物都擅长协作，但我们仍然做得远远不够。我们仍然有战争、盗窃，我们仍然有腐败、欺诈。协作之路依然很艰难，协作并非总能达成，至少需要两个代理人互相信任。一旦协作缺失，总有人能从中获利：军火商、独裁者、骗子、盗贼。

因此，协作必须依靠制度：既要促进协作，还要惩治骗子、欺诈者和勒索者。中心化的机构能帮助协作实现，他们可以惩罚盗贼和作弊者，但如果中心化机构走向僵化，长远来看也会阻碍协作。

放眼当下，有很多呼声希望对 AI 进行中心化控制：对齐 AI 的目标，暂停甚至终止 AI 研究，限制可投入的算力，限制 AI 行业的竞争程度，或借此确保 AI 的安全。这些主张如出一辙，根源都是恐惧，说到底，这都是基于 " 我们对他们 " 的思维，认为他人不可信任，妖魔化对方。

所以我认为这不过是人类的一种天然倾向，我们必须清醒地认识到，这种倾向也在向 AI 领域蔓延。

因此，关于 AI 的政治议题，我的核心结论是：AI 和人类繁荣都来自于去中心化协作。

协作并非总能实现，却是世间一切美好的事物的源泉，我们必须寻求协作、支持协作，并致力将协作制度化。

此外，只要我们用自己的眼睛观察，就能轻易看出谁在鼓吹不信任，谁在呼吁非协作和中心化控制，我们都应该努力抵制这些呼声。

这是一个有用的视角，来审视所有关于人类与 AI 互动的呼吁。

三、四条原则预测 AI 未来，人类现有智能将被大幅超越

最后，我想谈谈 AI 与哲学。

我认为，AI 是人类最古老的追求之一，它并不是陌生的外来技术，而是与人类的本性高度相似。

数千年来，哲学家和普通人都在努力理解自己，一直对内在的运作机制充满好奇：我们的心智是如何运作的？又该如何让它运作得更好？这不是自恋，而是一场宏大的求索。

智能是宇宙中最伟大的力量之一，如果能理解它，人类就会变得更强大、更有能力。

理解智能，是科学与人文学科共同追寻的圣杯，它是一个伟大而荣耀的奖赏。

然而，我们依然心怀恐惧和忧虑。

那么，让我们暂且搁置 " 想要或不想要什么 " 的担忧，让我们尽量以最现实的方式来去预测、去展望。

所以，我提出四条原则，来现实地预测对 AI 的未来：

第一，对世界应该如何运转，全球并没有统一的意见，没有哪一种看法能够凌驾于所有其他观点之上。

第二，总有一天，人类将真正理解智能，并借助技术将其创造出来——我们一定能做到。

第三，这个过程不会止步于当今人类的智能水平，很快，它将会被远远超越，无论是超级人工智能，还是增强的人类，都将远远超越这一水平，但无论如何，当前人类现有的智能将被大幅超越。

第四条原则：随着时间的推移，权力和资源必然会流向最聪明的智能体。

所以，这必然把我们带到这样一个结论：在人类的发展进程中，AI 的替代是不可避免的。

但这本身仍是一种自我中心，以人类为中心的视角。

如果从宇宙的视角来看，这一切又是怎样的呢？

我倾向把宇宙历史划分为四个时代：粒子时代、恒星时代，接下来进入我们通常称为 " 生命时代 "，但我更愿意称为 " 复制者时代 "，因为在今天看来，生命几乎就是一台机器——一台生物机器。

在第四个时代——机器与设计时代——这些被设计出来的机器正越来越像生命。所以，我更愿意称它为 " 复制者时代 "，因为如今的生物系统，本质上就是能够自我复制、不断繁衍自身的体系。

我们正走向这样一个时代：周围越来越多的事物，都是由人类设计的。

所谓 " 设计 "，指的是它们最初仅存在于某个设计者的头脑中——可能是人，也可能是一台机器——然后才被创造出来。

环顾你所在的房间，几乎所有东西都是设计的产物：建筑是设计出来的，椅子是设计出来的，屏幕是设计出来的，唯一没有经过设计的，当然是人类，我们是复制的产物。经过设计的事物越来越多，正在占据主导地位。

现在我们可以直接进入一个问题：我们的角色是什么？人类是什么？人类在宇宙中的角色是什么？我们能否冷静，并且不傲慢地回答这个问题？我们都感到人类是特别的，并不只是另一种复制品，那么究竟特殊在哪里？

我认为人类的独特之处在于：作为复制者，我们将设计提升到了前所未有的高度。

将设计推向极致意味着什么？推向极限，能走多远？我觉得答案其实很明确，至少在可预见的将来，把设计推向极致，就是创造出能自己进行设计的事物。这正是我们今天通过人工智能所追求的目标。

所以，我将这一点作为我对 " 人类是什么 " 的答案：人类至少是催化剂，是助产士，更是开启宇宙第四大时代—— " 设计时代 " 的先驱。

结语：我们应以勇气、自豪和冒险精神来迎接 AI

这就是我今天分享的三点：

在科技趋势上，2020 年代的 AI，也就是人类数据时代，有卓越的表现。但我相信，我们正在进入一个全新的 " 经验时代 "，潜力将远超以往，因为它可以通过经验不断学习新知识。

关于 AI 的政治议题，我认为，AI 的政治议题，是人类的映射。

最后，在哲学层面，我认为，AI 是宇宙演化的必然下一步，我们应以勇气、自豪和冒险精神来迎接它。

非常感谢大家的聆听。