红杉资本最新播客对谈中，前OpenAI推理负责人Jerry Tworek与前Google Gemini预训练负责人Rohan Anil首次联合发声，详解他们为何离开顶级实验室、自立门户创立Core Automation。他们的核心论断相当大胆：Transformer架构已经走到尽头，通往AGI的真正瓶颈不是规模，而是架构本身。

本文编译自红杉资本最新一期博客内容，原文链接：https://www.youtube.com/watch?v=2RJiaf0SY8s，以下是完整编译。

Transformer 确实强，但它不是终局

Sonya Huang： Jerry，你前不久发过一句很"辣"的话：想替代 Transformer，第一步是要真正欣赏它到底把我们带到了多远。很多人听起来像是在给 Transformer 写悼词。你这句话到底是什么意思？

Jerry Tworek： 我最近做采访，经常都在解释自己发的推文到底是什么意思。所谓"真正欣赏 Transformer"，意思其实很简单：你得先明白它到底擅长什么，才能避免把力气浪费在它已经解决得很好的问题上。做架构研究，必须同时看见它的强项和弱项。可我现在看到的大量工作，本质上都在想办法让 Transformer 更便宜、更高效，我很少看到有人认真在想：怎样让它变得更强、更有表达力。

说白了，看见一个系统的弱点，和真正理解它的强点，很多时候其实是一回事。你得看清它的形状。今天我们其实已经把两件事练得非常熟了：大规模预训练，以及大规模强化学习。我们非常擅长把模型训得很大、很强。但我现在反复在问自己：机器学习的下一步到底是什么？我越来越觉得，真正限制更好模型、更聪明系统的，不再只是"规模不够大"，而是架构本身。

过去六年，我们一直坐在同一列火车上：不断往里加参数，反复堆叠那两类核心操作——MLP（多层感知机）和注意力机制。与此同时，我又非常感激今天这些系统带给我们的东西。无论是 Codex，还是各种 coding workflow automation（编程工作流自动化），它们都非常了不起。每次我用 Codex 把任务做成，我一边高兴，一边也会反过来问自己：为什么我没有把它再往前推一点？为什么我每天还是要亲自来上班？如果 Core Automation 这个名字成立，如果我们的目标真的是自动化任务，那为什么 Codex 还不能替我把所有事情都做完？这才是我真正关心的研究问题：如果我们要继续把自动化往前推，我们还缺什么样的模型、什么样的系统、什么样的能力？

Sonya Huang： 你把问题定位成"架构本身出了问题"，这是个很反主流的判断。你为什么会走到这里？

Jerry Tworek： 这个判断，跟我前面说的一个基本张力有关：模型是在实验室里训练出来的，但它们真正要工作的地方是在现实世界。这个张力一直都在。

我自己对此其实有很强的个人情绪。因为当初在 OpenAI 推强化学习规模化的时候，我是非常坚定的 RL maximalist（强化学习至上论者）。我从很早开始就相信：把强化学习真正做大，是通向 AGI 的必要台阶。那时我看着 LLM（大语言模型）一路从 GPT-3 到 GPT-4 做大，心里一直有一个信念：我们现在做的 RL 还太少了，等我们真的把 RL 规模化，一大堆问题就会自然被解决。

后来我们确实开始做了，而且我就在那个过程中心。我当时甚至会觉得，如果你在 2024 年问我"AGI 什么时候到"，我可能会回答"2025"。因为那时候我真觉得，我们离"把事情都解决掉"已经很近了。模型一代一代变好，benchmark（基准测试）分数一直涨。但问题是：现实世界的任务，也一起被解决了吗？很遗憾，没有。

我后来慢慢意识到，我们训练模型时用的数据分布、评测模型时用的 benchmark，很多时候其实是同一枚硬币的两面。可现实世界不是这样。真实世界的任务分布更脏、更乱、更模糊，也更难被训练数据完整复现。你去问任何一个在训练大模型的人，他们都会告诉你：我最大的痛点之一，是没有足够难的任务、没有足够好的训练数据。可与此同时，我们又明显没有覆盖现实任务的全分布。

所以我的结论变成了：模型必须能在测试时学习，必须能在真实用户的数据上、在真实世界任务上继续学习。如果你再进一步问：那为什么今天的 Transformer 做不到？答案基本就落在两条路上。

Jerry Tworek： 第一条路，是 Transformer 现在已经具备的上下文学习。它的优点是很明显的：不会出现灾难性遗忘，数据效率也还不错。但它非常不可扩展。你能塞进去的数据量就那么多，它在机械层面上也有很多限制。说白了，你构造上下文的方式，本身就有上限。

拿我日常用 Codex 来说，大概用二十分钟左右，我就得把上下文压缩、整理、再继续往后推。如果一个系统真正能学到的东西，只有二十分钟上下文这么多，那其实远远不够。

第二条路，是持续微调。理论上，你当然可以不断微调模型，让它边用边学。但问题又来了：灾难性遗忘、极低的数据效率，这些问题都不是轻轻松松就能解决的。大家已经试了很多年了，如果这些问题很容易解决，现在早就有人解决完了。

所以我个人越来越相信，我们需要的是一种新的算法，而且这个算法得能在架构层面被表达出来。我们得找到一种机制，让"学习"本身可以在模型结构中被表示出来，能支持更长时间尺度、更长期的适应过程。

Sonya Huang： 那你觉得这种新架构，会不会还是某种"Transformer-like"的东西？因为很多人的理解是，RL 之所以后来能被大规模放大，本身就建立在 Transformer 先提供了一个可扩展的世界先验之上。那新路线怎么 scale？

Jerry Tworek： 这是个非常好的问题。我觉得这里面其实有很大一块是"经济性"而不是"技术上唯一可行"。严格说，你当然也可以去 scale LSTM（长短期记忆网络）。没人规定不能这么做。只是几乎没人真的敢往那个方向狠狠干。更何况，LSTM 的缩放表现确实不如 Transformer。Scaling law（缩放定律）的论文里其实就对比过二者，Transformer 的曲线更好。

你可以想象一个平行世界：如果我们从来没发明 Transformer，人类照样可能会去 scale LSTM，也能得到一些模型。但因为训练成本更高、产品效果更差，最终很可能没有人能说服市场为那些超大 LSTM 买单。

Transformer 最"神奇"的地方就在这儿：它在经济上是成立的。训练它的成本，低于它最终创造的收入价值。这不是机器学习天然保证会发生的事情，而 Transformer 做到了。LSTM 大概率做不到，所以整个时代没有围绕它建立起来。

更广泛地说，我认为很多架构其实都能被 scale。过去人们没这么做，一个重要原因是：OpenAI 之前，研究界对"单纯扩大规模"是有心理抵触的，很多人会觉得那不够"科学"。大家更愿意做的是：在同样算力预算下，想办法设计更高效的算法。而 OpenAI 当年的反主流选择是：我们先不追求"每单位算力更聪明"，我们先追求"能不能继续往更大规模灌算力，而且结果还能继续变好"。那条路当时被很多人批评，但正是那条路把我们带到了今天。

所以我的想法是：也许有很多架构，只有过了某个算力阈值，你才会看到它真正有趣、真正有用的能力。就像强化学习一样，能力不到一个基线，很多效果根本起不来。也许新架构也是如此。

Sonya Huang： 既然你说新架构需要一定规模的算力门槛，那听起来不是更适合留在大研究机构里做吗？为什么要出来创业？

Jerry Tworek： 这是个很尖锐但也很好的问题。我觉得很大程度上是时机。今天市场正处在一个非常特殊的位置：最成功、最大的实验室，恰好都被卷进了可能是历史上最激烈的一场市场竞争里。你如果已经靠 Transformer 赚到钱，而且只要继续把 Transformer 往上堆，就有机会赢下下一个季度，那你就很难投入足够多的注意力和组织能量，去做一件"也许一年后、两年后会改写整个领域，但短期不一定有回报"的事。

所以我跟几乎所有大实验室聊下来，一个共同感受是：他们没有那么强的意愿去认真试 Transformer 之外的替代方案。而不那么大的实验室，又都在拼命做和头部实验室类似的事。过去一周的发布你就能看出来，大家都在发 coding agent（编程智能体）。整个行业都在做同一类东西。但我觉得我们需要不同的路径、不同的方法。Core Automation 想填的，就是这个生态位。

Sonya Huang： Rohan，你当年在 Google Brain，就在 Transformer 被发明的那个环境里。你也同意 Jerry 这种"Transformer 终将被替代"的判断吗？

Rohan Anil： 我同意。某种程度上，我很早就亲历过 Transformer 刚出来时那种"内部其实没多少人真正意识到它有多重要"的状态。当年 Ashish、Noam 他们做出 Transformer 的时候，我正好也在做 online distillation（在线蒸馏），我们还是在同一个内部研究会上发的。说实话，内部一开始并没有把它当成什么天大突破。很多人就觉得：哦，又是一篇论文。再加上最初那篇工作非常聚焦一个具体任务——机器翻译。它先是在翻译上赢了 LSTM。

至少在 Google 内部，Noam 和少数几个人当然很关心把语言模型继续做大，但我自己的印象是，一直到 GPT-2、GPT-3 之后，行业才真正看清 Transformer 在更一般语言建模上的价值。

在我看来，架构的核心问题，其实就是：你到底怎么花计算。Transformer 确实是一种非常高效地花计算的方法。但如果你看今天的产业现实，会发现大量算力消耗发生在推理时，而且是花在"一个 token一个 token 地往外吐"这件事上。

如果我想设计一个更好的架构，我会同时看预训练和 RL，想办法找一种比"靠思维链逐 token 解码"更会花计算的新架构。现在很多系统的逻辑大概是：预训练先给 Transformer 一个固定上下文长度和基础能力；然后 RL 进来一看，发现这还不够，于是通过多生成 token 的方式，来换更多计算深度。这从推理角度看很低效，因为你是在一个 token 一个 token 地加。

所以今天很多工程优化，比如推测解码，本质上更像是给这个机制打补丁：因为你选了一种只能逐 token 生成的机制，所以只能继续围绕它修修补补。除此之外，Transformer 在"计算怎么分配"这个层面还有别的问题。比如很长一段时间里，行业都在训练超大 dense model（稠密模型），后来又花了两三年才慢慢把 MoE（混合专家模型）、稀疏性这些路线做成熟，才得到今天大家觉得"理所当然"的训练效率。

如果你问 Transformer 哪里有问题，我会说：它的计算深度很差。只要你认真提这个问题——"怎么提高计算深度"——一下子就会打开很多新的架构方向。

Sonya Huang： 你刚才说，Transformer 的问题在于计算深度太差。这个到底是什么意思？

Rohan Anil： 很简单的一个观察是：我们今天训练的大多数 Transformer，其实都不深，最多也就是一百层上下。可"深度学习"这个词，本来就意味着你希望模型学出更深的表征。行业里当然有人试过更深的网络，但没有谁真正向我们证明过：我们已经学会了怎么稳定地学出极深的表示。

今天所谓的思维链推理，以及通过 RL 强化模型自己展开思维链，本质上其实是在用另一种方式增加计算深度：你每多吐一个 token，就多走出一条路径。原本预训练架构给你的瓶颈是"层数 × 序列长度"，你现在通过拉长序列长度，让推理时缩放生效，所以能力确实会更强。

但问题也就在这里：模型为了得到更好的结果，必须吐出更多 token，而这是非常低效的。它是逐 token 的，一步一步来的。所以我会觉得，这其实是一个很直接可以优化的靶子。至少在我们现在在做的工作里，这已经是其中一个明确方向：怎么把这件事做得高效得多。

Sonya Huang： 那你们怎么判断 Transformer-based 架构还能走多远？它什么时候会开始触顶？

Jerry Tworek： 这个问题最终还是取决于：我们到底把 Transformer 拿来做什么。预训练非常擅长做一件事：把互联网的知识蒸馏进模型里。然后你再用 RL，把你想要的 workflow（工作流）烤进这个模型里。也就是说，我们今天做的事，某种程度上是在把全人类知识，以及这些知识之间的关系，压缩到模型里；与此同时，把那些已经有训练数据可循的任务，也一起"烤"进去。

在这个意义上，Transformer 的"上限"是：如果你给它所有人类知识、所有足够多的工作流、所有足够多的训练数据，它会变得非常非常强。可关键在于，一旦训练停了，会发生什么？

我经常拿一个假设来想这个问题：如果 OpenAI、Anthropic 今天就停掉训练，手里这个 Transformer 就是最终版了。那过几个月、几年，它会怎样？它会越来越不那么有用。因为世界会变：会有新事件、新关系、新任务、新代码库、新工具。而 Transformer 的大量价值，本质上都来自于"那些有价值的东西，在训练阶段就已经存在于数据里"。一旦现实变了，而它没法继续真正吸收这些变化，它就会掉队。

当然，Transformer 也不是完全没有适应能力，但这种适应非常有限，也不够灵活。对我来说，这就是它的天花板：它更像一个非常强的工具，给懂它边界的人来用。人类知道它的限制，就能调度它、给它写 prompt 、把失败样本加回训练集，再交回实验室重训。可这整个闭环，还是得穿过实验室。它不是一个能自己在现实环境里持续更新自己的系统。

"从经验学习"不等于"只有 RL"，大脑本来就不是单一算法

Sonya Huang： 你看过 Rich Sutton 和 David Silver 那篇《The Age of Experience》（经验的时代）吗？你们和那篇文章的观点是一致的吗？

Jerry Tworek： 我觉得"经验时代"这个说法很有启发，但也容易被误解。强化学习并不是一条全新的路。它很早就存在，早到能用来下西洋双陆棋，后来又能打围棋、打星际争霸，到今天用来做编程。每一次，本质上都是模型获取自己的经验，然后从这些经验里学习。

所以"从经验学习"不是今天才有的事。过去我们也一直在做。而且我觉得现在一个有意思、但很多人还没完全想清楚的点在于：强化学习绝不是"从经验学习"的唯一方式。

预训练当然是另一套逻辑，它更像是行为克隆、模仿、压缩静态数据。甚至以我个人的看法，今天很多预训练，本质上已经在蒸馏旧模型，因为互联网上越来越多 token 本来就是 AI 生成的。但无论如何，预训练是另一种范式。

而 RL 是经验学习的一种数学形式，但不是全部。尤其是我们今天实际使用 RL 的方式，本身非常偏爱并行 rollout（并行推演）、偏爱用多份平行世界去做方差降低、做横向比较。这跟人类真正学习经验的方式，其实并不一样。我们从经验中学习，要高效得多，也丰富得多。

我有时会这样向别人解释：大脑不是只有一种学习算法。比如我踢足球，这件事就很像强化学习——我不断踢球，不断微调动作，看结果是不是更接近我想要的目标，这里面显然有 self-reinforcement（自我强化）。但如果我是在学数学，那就完全不一样了：我是在阅读困难概念，在脑子里反复深想，直到某个时刻突然"通了"，不同概念之间真正连起来。两者都算在"从经验中学习"，但机制完全不同。

所以如果要概括我的看法，那就是：我们已经在大规模地花算力做"从经验中学习"，而且可能比历史上任何时候都更多。但强化学习不是这条路的终点。未来几年里，研究者一定会提出更丰富的办法，去更好地利用这些经验数据。

Sonya Huang： Rohan，你长期做优化和效率。要想得到数量级级别的计算效率和数据效率提升，路会在哪里？

Rohan Anil： 第一步一定是测量。按我们今天的定义，预训练很像一种压缩任务：我们盯着困惑度，看能不能把它继续降下去。然后大家发现，只要参数变大、算力变多，指标就还会继续改善。这套逻辑对于建立"世界先验"当然是有价值的，但我觉得这不是看问题的终局方式。

我们应该端到端地问：这些模型最终是拿来干什么的？比如我训练好一个模型，交给 Jerry，Jerry 再去做 RL。他一旦开始用 RL，这个模型之前那些漂亮的 perplexity 指标，很多都会被"破坏"。这不是说之前的工作没价值，而是说明：预训练和 RL 本来就不该被当成两套完全断开的优化问题。

如果能把预训练和 RL 真正一起优化，我相信光这一步，就可能带来一个数量级的改进。你可以把它理解成新的训练流程，也可以把它理解成新的学习算法。

我自己一路做优化，其实就是被这个问题吸进去的。我在 Google 最早做的是 logistic regression（逻辑回归）优化器，也做过大规模线性求解器。后来神经网络起来之后，我就很明确地想：我要去理解训练算法本身，看看能不能把它做得更好。后来有位同事来找我，说他们在白板上推了个新想法，后来就变成了 Shampoo 优化器，希望我帮忙把它做成、放大、真正跑在大规模神经网络训练里。

那时候其实并不是所有人都对这件事感兴趣。很多人会觉得：为什么不继续用 Adam（一种常用优化器）？优化器能带来的上限又有多大？可对我来说，这恰恰是最值得投入的地方——你投入计算，是为了让训练本身变得更好。

后来我们在 Gemini 1.5 Flash 上也用了相关思路。再后来，社区开始对这类工作更感兴趣，甚至出现了 Soap 这样的后续论文，整个文献脉络都开始围绕 Shampoo、Soap 这些方向往前走。可即便如此，如果你回头看，Shampoo 本身也还是很"弱"的：它并没有把训练过程中所有可用信息都充分用起来。理论上，你用得越多，就还能继续得到更好的提升。

更进一步说，优化方法本身会决定你能发现什么样的架构。比如残差连接对训练深网络特别有帮助，这是大家都知道的。但现在已经有一些人，在更强优化方法的帮助下，可以把残差连接拿掉，学出更深的表示。所以在我看来，优化和架构其实是一体两面。你可以用更强的优化器去训练一个更难训练、但潜在更强的模型；也可以用更弱的优化器，只好退回那些容易训练、但能力也有限的架构。

而 RL 现在同样在低效地花计算。你为了拿到一点点反馈，要先解出很长很长的思维链，把大量 token 解码出来，最后只把那一点点监督信号送回网络里。这非常浪费，所以我觉得这里也是一个很容易出数量级改进的地方。

Sonya Huang： 那你觉得机器学习系统最终会接近，甚至超过生物系统的学习效率吗？

Rohan Anil： 我觉得不会，至少在我们今天这套硬件上非常不可能。这么说可能有点绝对，但我的直觉是：如果硬件层没变，这事离我们很远。

人脑是把"模型、计算、学习算法、硬件"一起长出来的。它一边成长，一边把自己的电路和学习机制共同塑形，然后生命结束，这一整套也就结束了。神经网络完全不是这样：硬件不变，网络结构大体固定，学习却非常低效。我们必须用大量并行、用很多很多副本，才能把很少一点信息真正灌进去。

所以除非我们开始设计更接近生物系统的硬件，甚至走向更类模拟电路的方向，同时解决误差校正、信息通过等问题，否则很难在学习效率上接近生物体。至少从这个意义上说，我们暂时还是"安全"的。

Sonya Huang： "预训练和 RL 应该端到端优化"，听起来好像很明显。为什么各大实验室没有自然走到这里？

Rohan Anil： 我不觉得它有那么"显然"。因为这本来就是两个很不一样的优化问题。你有一个先验模型，然后做 rollout，这里面方差更高；而预训练是大批次、更高并行度、每单位时间更大的算力吞吐。这两套训练过程天然不同，所以"朴素地把它们合起来"并不会自动成功。你得先把"为什么简单拼接行不通"想明白，才可能往前走。

当然，如果你去问这些大实验室里最好的研究者，很多人会说：这听起来有道理，确实值得探索。但问题是，它很难排进最优先级。因为他们必须赶下一个版本、下一个发布周期。正如 Jerry 说的，今天各家公司都在为了发布节奏竞争，而 token 本身又不够有粘性，所以组织会天然倾向短周期，而不是六个月、一年那种真正长期的研究。

AGI不是"能干活"就够了，而是"能自己继续变强"

Sonya Huang： 现在很多人都在谈 AI scientist。你们成立公司的时候，研究这份工作本身也正在变化。你们又一直说要做世界上最自动化的实验室。你们到底想怎么自动化研究？

Jerry Tworek： 对我们来说，"自动化"并不是把人从环里拿掉。Core Automation 版本的自动化，本质上是在给每个人最大化 agency ，让每个人在同样时间里，能完成远超以前的事。

你走路，能走一段距离；骑上自行车，能走更远；开上车，又能走更远。农业也是一样，手工种地的时候，你只能管一小块地；有了机器，你就能管理大得多的土地。研究也是这个逻辑。

我自己非常喜欢今天的 coding agent，也非常高兴看到这一代系统的出现。某种意义上，这些东西就是我过去很多年一直在努力的方向，无论是 coding research ，还是在 OpenAI 内部做各种版本的 AI scientist。可真到今天这个节点，我反而更坚定地觉得，要实现这种愿景，创业是最好的方式之一。因为研究工作已经变了：一个研究员现在真的能做更多事。想法迭代的速度、验证想法拿到数据的速度，已经和以前完全不同。

你当然可以试图在旧组织结构里硬挪这些变化，也可以选择从一开始就按这个时代原生重建流程，让每个研究员都能尽可能快地迭代自己的想法。我们现在做的，就是尽量重新搭建整套深度学习栈，重新思考每个操作是不是都能换一种做法。哪怕我们一天只能多跑一个实验，这已经比过去快很多了；也没有什么物理定律规定我们不能做到更多。未来也许一天能多跑 10 个实验、200 个实验。通过这种搜索、优化、迭代，我们就有机会更快找到真正有效的新东西。

我们团队本身就非常偏 agent-native（智能体原生）、automation-native（自动化原生）。现在其实是在做一个组织实验：如果用一个小团队，把自动化推到尽可能远，我们到底能走到哪儿。

Sonya Huang： 那你们觉得，什么时候我们才算真的到达了 AGI？

Jerry Tworek： 我以前经常说，AGI 很大程度上是每个人心里的定义。OpenAI 的说法是：能在经济上有价值的工作里超过所有人类的系统。

但我还是会回到刚才那个问题：如果 OpenAI 停止训练模型，那它还能继续维持现在这个自动化水平吗？还是会慢慢漂移、掉队？对我来说，AGI 更像是一个能在没有人类参与的情况下，自我改进的模型。只有到了那个时候，我们才可以更认真地说，我们碰到了真正意义上的 AGI。因为"改进 AI 模型"本身，就是一种人类能做、而且很有经济价值的工作。

但现实是，把人彻底拿出闭环这件事，迄今为止都异常困难。我几乎找不到什么任务，是 LLM 真正把人完全踢出循环的。今天最成功的模式，依然是"人类 + LLM"的混合体。纯模型自己跑，不行，还远远不行。

而我在 2024 年和 2025 年初看到的情况是：沿着当前这条路往前走，并不会自然把我们带到那里。我们需要非常严肃的研究——不管是我们这家公司，还是别的团队——去真正打开"模型怎样在测试时更深层地学习和适应"这个问题。

Sonya Huang： 前面我们铺垫了很多，所以我想直接问：Core Automation 愿意公开讲的"大计划"到底是什么？

Rohan Anil： 我们可以讲未来六个月的路线图。做新架构，不只是要看它理论上多好，还得看它能不能在硬件上跑得足够好，能不能被用户——也包括我们自己——真正用起来。所以接下来最难、也最值得优先自动化掉的事情，就是 kernel generation（内核生成）。

我们手里有一批 Blackwell GPU（Blackwell 图形处理器），要拿它们来训练和做推理。我们的目标，是构建尽可能好的模型，把"我冒出一个很酷的架构想法"到"这个想法真正以最高 TOPS（每秒万亿次操作）跑在 GPU 上"的时间压到最短。现在的 coding agent 加上人，当然已经能走很远，但还不够。

我举个具体例子：我们和 GPU Mode 办过一个 QR kernel competition（QR 内核竞赛）。QR 是非常老的线性代数操作，但在优化器里非常常见，比如 Shampoo 这一类工作就会用到它。你如果想让它在 B200 节点上高效运行，现成的 cuSolver（CUDA 求解器）在我们关心的那些 shape（矩阵形状）上，能给你一个还可以的效率。再加一个人类高手和搜索循环，可能能做到 7 倍提速。

但如果你真要做到特别极致，就需要那种"味道特别好"的高手，人非常少。我们后来花了四周时间，在 coding agent 上烧了大约 10 万美元，最后才把这个 kernel 做到比基线快 60 倍。

*Kernel（内核） 在这里指的是直接跑在 GPU 上的底层计算程序，负责高效执行某一种具体的数学运算，比如矩阵乘法、卷积、QR 分解等。

而这个例子也说明，今天的前沿模型根本还没接近能独立解决这类问题。你把这个问题扔给 Anthropic 的模型、OpenAI 的模型、Gemini，它们都解不出来。离能把那个 60 倍更快的 kernel 自动搞定，还有很远。

所以对我们来说，kernel 就是一个真实瓶颈。只要这个瓶颈还在，我们就无法形成一个足够快的"新架构—实现—验证"内循环。

Core Automation 的总目标：找出能持续学习的新架构

Sonya Huang： 为什么是 kernel？是不是因为想最大化每个 flop（浮点运算）的智能产出，就必须先过 kernel 这一关？

Rohan Anil： 差不多就是这个意思。我过去有三个项目，其中两个已经不同程度落进了产业界。

第一个是 second-order method（二阶方法）。那里面 kernel 就是瓶颈。因为如果你在 Google 这种地方做事，不可能多花 10 倍算力只换来 2 倍收益。你可能最多只能多花 20% 预算，但得拿到 2 倍提升，这样大家才会开心。问题是，很多关键操作都很新，没有足够多人看过，也没有成熟实现。那时候在 Google，能把一些深层 XLA（加速线性代数）低层代码写出来、让这些东西真正跑起来的，可能也就极少数几个人，而且他们花了两年才做成。

第二个方向，是我和同事当年做的一个想法：用额外 memory 去替换 Transformer 里一部分参数，我们当时叫它 engram memory 。那是 2020 年的工作，内部其实有过一些小版本部署。可这个方向里，我又需要高效的稀疏聚集与分散，而那又要求硬件层变化、要求硬件真正把这件事支持起来。我们当时和 TPU（张量处理单元）团队开过很多会，疫情时期还一度以为会推进下去，最后还是没落地。后来 DeepSeek 在这个方向上做了一个改进版的 engram，展示了 scaling law，说明你确实可以用这种 memory 机制替换一部分结构。对我来说，那是我五年探索后看到别人把这条路往前推了一步，我其实很高兴。

但它也再次证明了一件事：如果你不会写 kernel，很多状态空间你根本进不去。大量算法路线，只有在你能写、能自动写、能高性能写 kernel 的情况下，才有资格被探索。

再拿 QR 说一遍：如果我用 cuSolver 的 QR，只能拿到一个水平；如果我用我们竞赛优胜者写出来的 QR，速度能快 60 倍。这完全是两个世界。一旦你跨过去，很多新的训练算法、优化算法突然都有资格被使用了。QR 对分解、对优化器、对训练 Transformer，本身都非常基础。

而且，会这套技能的人特别少，还分散在不同地方。理想状态当然是：模型也能拥有这种能力。

Jerry Tworek： 我可以从更高层概括一下。Core Automation 是一个为了构建"在部署后持续学习的模型"而建立的实验室。我们相信，Transformer 从结构上就不具备持续学习的能力，没办法把真正的持续学习塞进 Transformer 里。所以我们知道，我们必须找到一种不同的架构，某种意义上，这就是我们在寻找"Transformer 替代者"。

为了做到这件事，我们要把实验室自动化到极致。我们希望能用尽可能快的速度，大规模构建和验证实验，去试很多新的架构想法。当然，我们不是盲目暴力搜索，我们会带着比较强的 prior（先验）去高效搜索架构空间，尽快找到那条路。

所以，无论是 kernel、还是大规模训练、还是各种新架构尝试，归根结底都在服务同一个目标：更快探索那片空间，找到那个能替代 Transformer 的东西。

Sonya Huang： 如果你们最后真的找到一个更好的架构，你们会怎么判断"就是它了"？

Jerry Tworek： 研究里总会有一个时刻：你画出一张图，那条线的形状就是和别的都不一样，你一看就知道这东西对了。但我自己的经验是，这张图往往出现得很晚。很多时候，在那张图真的跑出来之前，你心里其实已经隐隐知道自己在找什么了。

这听起来像玩笑，但是真的：我人生里最好看的那些图，很多都是先在梦里出现，再在现实里变成真图。你会反复试，第一种办法不行，第二种办法也不行，最后往往是五个环节得连续都做对，系统才终于开始工作。深度学习系统通常都很精细，得五件事一口气全对上。等最后那张你想要的图真的出现，你就知道了。

而对我们来说，我们明确在找的是：能在测试时学习、能在长期尺度上适应的系统。如果我们看到系统出现了有意义的长期适应能力，那就是巨大的信号。我们甚至半开玩笑半认真地说：最好的评估方式，就是让我们的系统每天都更擅长做 Core Automation 科学家的工作。

Rohan Anil： 我们还开玩笑说，可以全团队一起去度假一周，看看实验室会不会自己产出更好的东西。

Sonya Huang： 那你们回来之后怎么办？

Jerry Tworek： 那就把假期延长两倍、再四倍，直到永久度假。