69 岁正是 " 创 " 的年纪！

强化学习奠基人、2024 年图灵奖得主Richard Sutton宣布，自己已和学生 Khurram Javed 离开 John Carmack 创办的 Keen Technologies，另起炉灶成立Oak Lab。

Richard Sutton 称得上现代强化学习的开山之人：

他本科在斯坦福攻读心理学，博士师从强化学习先驱Andrew Barto，早年先后在 GTE Labs、AT&T Labs 从事研究工作。

他提出了时序差分算法，和导师 Andrew Barto 合著的《Reinforcement Learning: An Introduction》（《强化学习导论》）是该领域全球通用教材；

2003 年起，Sutton 长期担任阿尔伯塔大学全职教授，创办本校强化学习实验室 RLAI；

2017 ‑ 2023 年任职 DeepMind 杰出研究科学家，牵头建立 DeepMind Edmonton 研究团队

同时，在四十多年里 Sutton 培育出一大批 AI 行业顶尖人才。

其中包括 AlphaGo 核心设计者David Silver、DeepMind 蒙特利尔负责人Doina Precup、博弈 AI 专家Michael Bowling，以及此次共同创业的Khurram Javed。

从推文来看，Sutton 这次单干的原因很直接：

他认为当前的深度学习方法薄弱、低效，需要的不是修修补补，而是全新的基础思想与彻底重构。

也就是说，Sutton 觉得现有 AI 路线很难进一步往更高阶的通用智能迈进。

而 Oak Lab 的终极目标是：

搭建万亿参数规模，可以实时学习、实时规划，整机功耗仅 20 瓦的智能体。

20 瓦，刚好和人脑的耗能水平持平。

当整个 AI 行业还在堆 GPU、扩数据中心的时候，强化学习的祖师爷准备重新定义什么是智能。

和卡神分手

要理解 Sutton 为什么要走，得先说清楚他是从哪儿走的。

Keen Technologies 的创始人 John Carmack，是《毁灭战士》和《雷神之锤》的缔造者、Oculus 前 CTO，程序员圈子里的传奇 " 卡神 "。

2022 年他从 Meta 离职后全力投入 AI 创业，方向也是强化学习。

2023 年 9 月 Sutton 选择加入 Keen，起因是谷歌 DeepMind 关闭了他在加拿大与 Edmonton 共建的实验室。

当时两人联手也算是梦幻组合了：

一个是底层系统工程的传奇人物，一个是强化学习理论的奠基者，计划在 2030 年前打造出具备 "AGI 生命迹象 " 的原型系统。

现在，合作不到三年，Sutton 选择抽身离开。

但他在推文里特意把第一句话留给了 Carmack：

关于 John Carmack 和 Keen Technologies，我怎么夸都不为过。

言下之意就是：走不是因为 Carmack 不好，是因为大家对怎么走到终点这件事产生了分歧。

在 Sutton 眼中，当下深度学习整套发展路线行不通。

模型不需要无休止迭代微调，整个行业亟需完成范式层面的颠覆重建。

Oak Lab 要做什么

Sutton 这次创业押注的核心可以概括为一句话：

智能来自运行时持续产生的经验。

现在主流大模型的工作模式基本是耗费数月时间，投入巨额成本，依托海量文本数据完成离线预训练；

训练结束之后模型参数基本固定，随后上线使用。

但即便每天和亿万用户对话，绝大部分交流内容也没办法转化为自身全新能力。

模型只能复用训练阶段学到的知识，或是在对话上下文里短暂记住信息，却没法像人类和动物一样，在持续感知外界的过程里更新自我。

但 Oak Lab 要打造的智能体不一样。

它要一边感知周遭环境、做出对应行动，再依据结果调整自身行为；

只要产生全新经历，学习过程就同步进行，不用间隔很久再集中开展新一轮训练。

就像 Sutton 自己说的：

AI 运行的每时每刻，都应当是学习的过程。

目前，Oak Lab 已经公布了自己的核心研究路线，围绕一套名叫OaK的架构展开。

OaK 代表 Options and Knowledge，也就是技能与知识。

这套架构的目的是让智能体从自身经验中发现具有时间跨度的抽象结构，并将其转化为可以验证、可以规划、可以反复调用的技能。

举个例子，机器人第一次去厨房接水，整套流程包含辨认房间、躲避障碍物、拿起水杯、打开水龙头等一连串动作。

传统 AI 会把全部步骤当作单次决策任务；

OaK 架构则会让智能体从实操里拆解出 " 走到厨房 "" 拿起杯子 "" 接水 " 等高层级技能。

后续遇到相似目标时，智能体直接调取已有技能，再结合当下环境灵活调整方案。

这种沿着时间维度精简过往经历的方式叫作时间抽象，让 AI 效仿人类，把一连串零散动作沉淀成成熟技能，依靠技能组合完成更复杂任务。

除此之外，Oak 架构还有一个和当下深度学习截然不同的设计目标：

学习阶段既不储存历史数据，也不会回放过往经验。

当前的深度强化学习往往会把大量历史经验放进缓冲区，反复抽样训练。

Oak Lab 设想采用 batch size 为 1 的实时学习方式，每得到一条新经验，就立刻完成一次更新。

团队认为，如果这类算法再与事件驱动神经网络结合，系统所需的计算量和能耗有机会下降数个数量级，从而让持续、实时学习变得真正可行。

于是便有了那个远期目标：万亿参数、实时学习、实时规划、20 瓦功耗。

当然，目前这还只是构想。

Oak Lab 背后还有一块理论基石，来自 Sutton 和 Javed 共同提出的大世界假说。

核心观点是：真实世界永远比 AI 更加复杂。就算模型做得越来越强大，外界环境的数据量同样会跟着暴涨。

依靠提前整理好的数据训练出来的模型，跟不上现实变化。

AI 要学着选择性记住有用内容，适时忘掉过时信息，持续在线学习，才能适应真实世界。

从 " 苦涩的教训 " 走到创业

熟悉 Sutton 的人，对上面这套观点应该不会意外。

2019 年，他写下 AI 领域广为流传的短文《苦涩的教训》（The Bitter Lesson）。

文章回顾了国际象棋、围棋、语音识别和计算机视觉的发展历程，得出一个结论：

能够随计算规模扩展的通用学习与搜索方法，长期来看终将胜过依赖人类手工知识的系统。

到了大模型时代，这条路线似乎得到了极强验证，更大模型、更多数据、更强算力，推动 AI 能力一路飙升。

但 Sutton 对今天的主流深度学习依然不满意。

在他看来，当前系统仍高度依赖人类生产、筛选并整理过的数据。

模型学习的内容，主要是人类过去已经写下、拍下或标注过的东西。

真正的智能体，需要通过自身行动产生新经验，并利用这些经验追求长期目标。

这也解释了他为何从 " 苦涩的教训 " 进一步走向了 " 经验时代 "。

2025 年，他与 AlphaGo 核心人物 David Silver 联合提出，AI 将逐步从依赖人类数据转向依靠智能体与环境互动产生的经验。

Oak Lab，正是这套研究主张的一次创业化落地。

四十年前，Sutton 在博士论文里写下 "temporal credit assignment in reinforcement learning（强化学习里的时序信用分配）" 的时候，强化学习还是一门冷板凳学问。

四十年后，整个世界都在追逐大模型的商业化浪潮，他仍然在追问同一个问题——

智能到底是怎么来的？

One More Thing

老爷子创业后的第一站，上海 WAIC。

在 WAIC 思想者论坛上，Sutton 将会带来题为《强化学习的第一性：从经验培育超级智能》的主题分享。

参考链接：https://x.com/RichardSSutton/status/2076663628301058329

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

点亮星标

科技前沿进展每日见