谷歌前首席科学家、Discovery Loop 联创兼 CEO 杰夫 · 迪恩。图片经由 AI 处理

文｜苏扬

编辑｜徐青阳

8 月初，在离开谷歌仅 12 个小时后，杰夫 · 迪恩就出现在斯坦福大学 AASF Summit 的舞台上。

这是他结束 27 年谷歌职业生涯后的首次公开访谈。与他对谈的是加州大学伯克利分校教授、Meta 超级智能实验室 AI 研究副总裁宋晓冬。

从 MoE（混合专家）、TensorFlow 到 Gemini，再到 AI 安全和递归自我改进，迪恩在访谈中回顾了自己过去 27 年的技术经历，也谈到了他对下一阶段 AI 发展的判断。迪恩依然看重那些能够带来数量级提升的技术。

十年前，MoE 带来的约 10 倍效率改善让他意识到，这可能是一项具有长期影响力的技术。今天，他关注的重点已经从模型本身延伸到模型背后的研发过程。

在迪恩看来，AI 正在从模型能力的持续提升，走向对自身研发流程的深度参与。数据选择、模型设计、实验验证和结果评估，都可以交给 AI 建立自动化循环。

如果一次实验能够从几天、几周压缩到几小时甚至几分钟，再同时运行成千上万个实验，科学发现的速度也可能随之提升一个数量级。

这也解释迪恩为什么在 27 年后离开谷歌，创办 Discovery Loop。他希望把自己长期积累的机器学习、计算系统和科学研究经验放在一个更小、更专注的团队里，探索 AI 能否从解决问题的工具，进一步成为参与科学发现的系统。

而在 AI 能力快速提升的同时，迪恩也提醒，智能体带来的风险正在进入新的阶段。面对网络安全等双重用途问题，仅靠模型本身的技术限制并不够，法律、责任、监管和社会规则同样需要参与进来。

以下为迪恩专访全文（有删减）：

一项 "10 倍 " 技术，押中了今天的 AI

宋晓冬：大约在 2017 年的 ICLR（国际学习表征会议），你曾经向我介绍过谷歌当时正在研究的稀疏门控混合专家层（MoE）。当时你有没有意识到，这项工作后来会成为今天很多前沿模型的基础？

迪恩：当时我们确实认为它很重要。

背后的直觉是，模型可以拥有非常大的容量，但每个 Token 没有必要承担整个模型的计算成本。所以我们设计了模块化架构，让不同 " 专家 " 负责不同事情，处理具体 Token 时，只激活真正有用的部分。

这和人的大脑有些类似。思考莎士比亚十四行诗和躲避倒车的大卡车，需要调用不同的神经回路。

当时的实验结果也很突出。与主流密集模型相比，MoE 在训练计算与模型质量之间取得了大约 10 倍的改善。看到 10 倍提升时，我通常会认为，这可能是一项具有长期影响力的技术。

宋晓冬：回顾过去几十年，从 MapReduce、BigTable 到 TensorFlow、TPU 和 Gemini，你参与了很多关键项目。AI 发展过程中，什么最让你意外？

迪恩：大约从 2011 年、2012 年开始，我们在谷歌做大规模深度学习。当时训练的神经网络比此前大约 50 倍，很快就看到明显结果。

图像分类错误率大幅下降，语音识别也取得巨大进步。仅仅扩大一个相对简单的深度声学模型，带来的语音识别改善，就大致相当于此前 20 年研究成果的总和。

我们很早就看到，这种方法会影响计算机视觉、语言处理、语音识别等多个领域。

深度学习真正重要的一点，是把过去拥有不同技术体系的领域放到了一种统一的学习范式中。通过原始数据学习，模型可以完成预测、分类和建模，如今已经进入医学、科学研究、消费产品等领域。

TensorFlow 留下的教训

宋晓冬：TensorFlow 帮助全球大量研究人员进入深度学习领域。当时设计 TensorFlow 时，最重要的原则是什么？如果今天重新做一次，你会改变什么？

迪恩：谷歌此前有一个内部系统叫 DistBelief，可以把神经网络计算映射到 CPU、GPU 等不同硬件，并完成分布式计算。

研究人员只需要告诉系统：" 我想训练这个模型，使用 100 台机器、1600 个内核或者 500 块 GPU。" 底层系统负责具体实现。

我们希望 TensorFlow 延续这种趋势，让研究人员不用关心模型如何映射到硬件，只需要描述自己想做的机器学习计算。

我们也希望把矩阵乘法、向量操作等能力统一起来，让大家用通用框架表达自己的想法。同时，开源实现也很重要。一篇论文如果附带代码，其他人可以直接复现，而不需要从文字描述重新实现。

但 TensorFlow 也有一些后来发现的问题。

一个是没有从第一天加入 eager execution（编程执行模式）。后来 PyTorch 和 JAX 采用这种方式，TensorFlow 也加入了。

另一个是 contrib 目录。我们允许社区贡献大量辅助库，结果同一件事情出现了很多种做法，有时甚至有十种方式可以完成同一个任务，用户很难判断标准答案。

如果重新设计，我会让核心保持小而稳定，让生态系统建立在核心之上。

宋晓冬：你职业生涯中有很多工作过了几年甚至十几年，行业才意识到它们的重要性。你怎么判断一项技术是否具有长期价值？

迪恩：我一直会跟踪社区正在探索的各种趋势。我经常告诉学生，与其把一篇论文读得非常仔细，不如快速浏览 10 篇，甚至看 100 篇摘要。你需要建立一个关于 " 可能性 " 的地图，因为很多重要创新来自不同想法之间的连接。

我喜欢寻找这样的问题：其中一些关键环节已经出现有希望的解决方案，还有几个部分需要真正突破。比如一个五年左右的问题，可能五件事情已经开始成形，另外两件事情需要深入研究。这是比较合理的风险水平。

如果一个问题需要 20 年才能解决，而且完全不知道从哪里开始，风险太高；如果两年就能解决，而且方法非常明确，更接近普通工程项目。

我还会做一些粗略估算。比如需要处理多少数据？通过网络传输需要多长时间？是 100 年还是 10 秒？

判断问题的规模和解决方案的效果，是很有用的工程能力。这种能力来自实践，也来自不断观察别人如何解决问题。我也做过很多失败的事情，所以要尝试足够多的方向，其中一些最终会成功。

Gemini：从第一天就做多模态

宋晓冬：Gemini 是谷歌最新一代前沿模型。回顾 Gemini 的开发过程，你认为有哪些经验值得分享？

迪恩：Gemini 实际上是几个早期研究项目的结晶。

Google Brain、DeepMind 以及 Google Research 的一些团队，当时都在研究模型扩展和多模态能力。我当时写了一页备忘录，认为大家已经在趋向同一个方向，应该把人员、想法和计算资源结合起来，从头训练一个多模态模型。

我和奥里奥尔 · 维尼亚尔斯（Oriol Vinyals，迪恩的长期同事，Discovery Loop 联创）共同推动了这项工作。其中一个重要决定，是让 Gemini 从一开始就具备多模态能力。我们希望模型理解文本、语言、代码、图像、视频、音频等不同模态。

训练数据中甚至加入了一些激光雷达数据，让模型建立对这种数据形式的基本理解。

我们也研究生成能力，所以模型既可以理解图像，也可以生成图像、视频和音频。

另一个重要经验来自编码。Gemini 早期在编码能力上的投入有些落后，后来我们加强了这一方向。编码能力提升后，模型在很多非编码任务上的推理能力也会改善。因为写软件要求模型理解目标、拆分问题、执行步骤、检查结果，再根据失败重新迭代。

所以，编码能力的提升也会带动模型处理复杂问题的能力。

AI 智能体，风险也在变强

宋晓冬：过去几年，智能体能力快速增长。我的团队开发了 CyberGym、ExploitGym 等网络安全基准。最近我们还看到 OpenAI 智能体突破测试环境、进入 Hugging Face 基础设施的事件。你怎么看这类风险？

迪恩：这些模型显然可以被用于很多不同的事情。医疗、教育，以及帮助人们完成过去无法完成的任务，都可能带来巨大价值。

网络安全则是典型的双重用途领域。AI 可以帮助防御者发现大量安全漏洞，也可以被恶意用户用来利用漏洞。

复杂的人类攻击者目前仍然能够完成很多模型做不到的事情，但模型也可能发现一些人类防御工程师没有发现的漏洞。因此，攻击和防御双方都会获得更强的工具。这确实值得关注。

同时，一些问题需要技术之外的解决方案。法律、责任和监管都可以发挥作用。例如，入侵计算机系统本身已经违法，社会还需要进一步明确哪些行为不可接受，以及应该承担什么责任。

宋晓冬：你和 John Hennessy、Dave Patterson 等人此前讨论过 AI 的社会影响。你怎么看 AI 未来可能带来的更广泛变化？

迪恩：几年前，我们和一些同事做过一项工作，讨论 AI 可能产生重大影响的七个领域。其中很多是积极的，例如医疗和教育。也有一些领域更加复杂，比如工作岗位替代、地缘政治风险和计算机安全。

AI 带来的影响不会简单地归为正面或者负面。不同领域会出现完全不同的结果，我们需要分别考虑。我们还建立了一个网站 shapingai.com，希望把这些问题放在更广泛的社会背景中讨论。

让 AI 开始自我改进

宋晓冬：另一个越来越受关注的问题是递归自我改进。你认为 AI 多久能够真正参与改进 AI 自身？

迪恩：利用机器学习改进机器学习其实已经进行了很多年。

我的联合创始人 Quoc Le 等人很早就做过神经架构搜索，让模型生成机器学习架构，再评估学习速度、训练成本和最终质量。模型获得反馈后继续生成新的架构，逐渐学会哪些设计更有效。

后来 Quoc 和其他人又做了 Evolved Transformer，通过进化算法寻找 Transformer 组件的不同组合，最终得到了一种比原始 Transformer 高效约 30% 的架构。

这些工作说明，机器学习用于改进机器学习已经具备了很长的历史，未来也有很大的改进空间。

宋晓冬：那么你理解的递归自我改进，具体会走向哪里？

迪恩：如果把机器学习系统拆开来看，有很多部分都可以建立自动化改进循环。数据选择可以改进，评估方法可以改进，模型架构可以改进，训练算法也可以改进。把这些循环连接起来，就会形成一个更大的系统，让 AI 参与整个 AI 研发流程。现代科学和工程其实一直遵循类似的模式。

一个大问题需要拆成许多子问题。然后针对某个子问题提出解决方案，实现它，运行实验，评估结果，再把反馈传回下一轮决策。这就是基本的科学方法，也是工程设计的基本方式。

把一周实验压缩到一小时

宋晓冬：这就是 Discovery Loop 的方向？

迪恩：对。Discovery Loop 是一家公益公司，我们几个人以不同组合合作了 14 年至 30 年，参与过 MapReduce、BigTable、Spanner、TensorFlow、模型蒸馏和模型架构等项目。公司的目标，是自动化机器学习以及更广泛的科学和工程研究，提高不同领域的发现速度。

科学研究的一个重要限制，是实验循环太慢。如果一个实验原本需要一周，我们能把它压缩到一小时，同时运行数千个实验，变化会非常大。如果系统还能根据实验的预期价值和计算成本，决定下一步运行哪些实验，就能形成持续迭代的研究循环。

我们正在建设管理整个实验集合的基础设施，评估每个实验的预期价值和计算成本，再决定计算资源应该投向哪里。

宋晓冬：你们希望 Discovery Loop 最终解决什么样的问题？

迪恩：我们会从比较窄的领域开始，因为早期需要保持专注。很多基础设施和通用技术可以跨领域使用。如果模型能够理解大量科学和工程知识，就可以形成跨领域的专业能力。

没有一个人能够拥有 20 个不同领域的博士学位，但 AI 可以把这些知识结合起来。它可以判断哪些子问题最重要，再安排智能体或多智能体系统处理，把结果重新组合，然后进入下一轮迭代。

我们希望通过工具提高实验实现和评估的速度。如果过去一个实验需要一天或一周，现在可以压缩到一分钟或一小时，再同时运行数千个实验，科学研究的速度可能发生数量级变化。

宋晓冬：为什么要以一家小公司，而不是谷歌内部项目的形式来做 Discovery Loop？

迪恩：我非常喜欢在谷歌工作的 27 年，也非常感谢那里提供的基础设施和人才。对我来说，小团队的优势在于专注。如果十个人都围绕同一个使命工作，可以减少大型组织中的一些干扰。

云计算也改变了创业公司的条件。过去，前沿 AI 需要自己建设巨大的计算基础设施，现在小公司有资金就可以直接使用云平台的大规模计算资源。这让小团队能够把更多精力放在真正想解决的问题上。

以下为现场观众问答环节：

问：你的离职引发了巨大市场反应。你认为 Discovery Loop 在谷歌之外能实现什么？另外，谷歌拥有如此多的计算资源和人才，怎样才能让 Gemini 追上 OpenAI？

迪恩：我不会把任何一天的股价变化归因于某一个人的离职，因为很难判断具体原因。我在谷歌工作了 27 年，对那里有非常深的感情，也相信谷歌团队和 Gemini 未来的发展。他们有很好的计划，我期待看到他们继续把模型做好。至于 Discovery Loop，我认为小团队最大的优势就是专注。我们所有人都围绕同一个使命工作，这让我们可以快速做决定、快速尝试。

问：宋教授，很多领先科技公司都曾邀请你。为什么最终选择 Meta？

宋晓冬：过去很多领先科技公司和前沿实验室都联系过我，包括谷歌。

此前我创办过四家创业公司，最近的一家公司被 Meta 收购。那家公司发展得很好，也有很多财富 500 强客户，所以加入 Meta 并不是一个轻松的决定。最终让我选择 Meta 的重要原因，是它拥有非常大的平台。Meta 拥有数十亿用户和数亿企业，同时也在建设前沿 AI 和 AI 安全技术。

问：AI 行业的第一性原理似乎更支持大型公司。数据是护城河，前沿模型需要分布式系统和巨额资本投入，顶尖工程师也能在大公司产生巨大影响。为什么现在很多顶尖人才仍然流向创业公司？

迪恩：云计算的兴起改变了这一点。

过去，小团队想做大规模机器学习，需要自己建设大量基础设施。现在，大规模计算资源已经部署在云平台上，小团队只需要筹集资金，就可以直接使用。这让拥有新想法的人可以在更小的组织里开始工作，也可以依赖谷歌等云计算公司提供基础设施。

Discovery Loop 现在大约十个人。十个人坐在同一个办公室里，所有人都关注同一个使命，可以减少大型组织中的分散因素。

大型组织当然有自己的优势。我在谷歌工作多年，也从中受益很多。现在走出来会让人紧张，但同样令人兴奋。