把 OpenAI 最重要的几篇论文摊开，你会在作者栏最靠前的位置反复看到同一个名字。这个深刻影响了现代 AI 的研究者，却长期隐身在 OpenAI 的聚光灯之外，直到最近才被奥特曼重新推到台前。

2026 年 7 月 28 日，Sam Altman 登上播客《Invest Like the Best》。谈到 OpenAI 历史上的幕后贡献者时，他首先想到 Alec Radford，并称其 " 可能是整个领域历史上最重要、却不太为人所知的研究者之一 "。

2018 年，Radford 以第一作者身份发表 GPT-1 论文，随后又共同领衔 GPT-2 的研发。在 GPT-3 论文列出的具体贡献中，团队还特别提到，最初是 Radford 发现了语言模型能够从少量示例中学习新任务。

Radford 的贡献并未停留在 GPT。后来，Radford 又以第一作者身份主导 CLIP 和 Whisper，前者让模型借助自然语言理解图像，后者让语音识别系统更好地适应不同语言、口音和噪声环境。

从 GPT 到 CLIP 再到 Whisper，Radford 的研究始终指向同一个方向：与其为机器规定细碎的任务规则，不如寻找一种通用、可扩展的训练方式，让模型在海量数据中自行涌现未被明确教授的能力。

从情感识别到 GPT

与不少沿着名校博士—顶级实验室路线成长的研究者不同，Radford 更像一名依靠实验直觉不断试错的工程型研究者。

Radford 1993 年出生于美国得州，没有博士学位，就读于规模较小、强调工程实践的 Olin College。大学期间，他与同学在宿舍创办机器学习公司 Indico。2014 年，Indico 入选 Techstars 创业加速器后，他在大四开始前离开学校，全职投入公司。

那时，深度学习刚刚在图像识别领域显示出潜力，生成对抗网络也才被提出不久。2015 年，Radford 与 Olin College 同学、Indico 研究员 Luke Metz，以及 Facebook AI Research 研究员 Soumith Chintala 共同发表深度卷积生成对抗网络（DCGAN）论文。

生成对抗网络（GAN）是机器学习中的一类模型，由负责生成图像和辨别真假的两个模型相互博弈构成，DCGAN 则将卷积神经网络引入其中，改善了 GAN 训练不稳定的问题，使之能生成更清晰的图像并学习视觉特征。

在实验中，DCGAN 不仅能够生成卧室、人脸等图像，还表现出一种更值得注意的能力，即模型在学习生成卧室图片时，内部逐渐形成了关于床、窗户和空间结构的表征。然而，研究人员没有逐一教它辨认这些物体，它却在完成图像生成任务的过程中，自行提取出了相关的视觉特征。

这个发现也成为 Radford 后续研究的一条主线。换句话说，一个看似简单的训练目标，只要覆盖足够丰富的数据，模型就可能顺带学会更多没有被专门教授的能力。

2016 年，Radford 离开 Indico，加入成立不久的 OpenAI，彼时他只有 23 岁。Wired 后来在报道中评价，OpenAI 真正走向其核心技术路线，正是始于聘用这位当时尚未成名的年轻研究者。

刚加入 OpenAI 时，语言模型通常被视为只能偶尔生成通顺句子的实验工具，聊天机器人则主要依赖人工编写的脚本和规则。为了寻找语言模型真正有用的场景，Radford 首先使用约 20 亿条 Reddit 评论训练模型，但这次实验没有取得理想结果。

但这次失败并没有让项目终止。考虑到当时有限的计算资源，Radford 缩小了实验范围，改用约 1 亿条亚马逊商品评论训练模型。模型接到的任务十分简单，只需根据已有文本预测下一个字符，不需要判断评论是好评还是差评，也没有获得任何情感标签。

模型训练完成后，研究人员进一步检查其内部机制，发现其中一个神经元与评论的情感倾向高度相关。调整这个神经元的数值，模型生成的评论也会在赞扬和批评之间变化。OpenAI 将其称为 " 无监督情感神经元 "。

图｜OpenAI 于 2017 年公布的 " 无监督情感神经元 " 研究（来源：OpenAI 官网）

Radford 的实验显示，语言本身可能已经包含监督信号，预测任务则能够迫使模型发现隐藏在文本中的结构。这意味着，区别于此前依赖人工标注识别情感，模型为了更准确地预测下一个字符，已经能够主动提炼出 " 正面 " 和 " 负面 " 这种抽象信息。

时任 OpenAI 首席科学家的 Ilya Sutskever 鼓励 Radford 将这套方法扩展到规模更大、内容更多样的文本。不过，以当时的神经网络架构处理如此庞大的数据，可能需要数年时间。

2017 年，谷歌团队发表《Attention Is All You Need》，提出 Transformer 架构，模型处理长文本和并行训练的能力得到了显著提升。

不过，Radford 没有沿用谷歌团队的机器翻译场景，而是用 Transformer 搭建语言模型，并以约 7,000 本书组成的 BooksCorpus 训练它预测下一个词。长篇连续文本让模型得以学习人物、事件与上下文之间更复杂的联系。

在此基础上，团队开发出 GPT-1。模型先从大规模文本中预训练，再借助少量标注数据，迁移到问答、文本分类和语义判断等任务。这意味着，同一个 Transformer 语言模型先通过预测下一个词学习语言，再以很小的结构改动和有限的标注数据迁移到多项任务，由此减少了对专用模型和大规模人工标注的依赖。

2018 年，Radford 以第一作者身份发表 GPT-1 论文。2019 年，他又与 Jeffrey Wu 共同领衔 GPT-2，将参数量从 1.17 亿扩大到 15 亿，训练数据增至约 800 万个网页。GPT-2 无需针对每项任务单独训练，便能尝试翻译、摘要和问答。

探索 " 通用能力宇宙 "

再后来，到了 GPT-3，项目已经转变为调动数据、算力和工程资源的大型协作，论文作者也增加到 31 人，Radford 不再领衔项目。不过，论文贡献说明特别提到，最初是他演示了语言模型中的少样本学习现象。

所谓少样本学习，是指模型不需要更新参数，只需从提示词中的几个示例理解任务。比如给出几组英文和法文的对应句子，模型就能尝试翻译新的内容。GPT-3 将这种能力进一步放大，也推动提示词逐渐成为人们调用模型能力的主要接口。

Radford 早期的研究问题由此得到了更强的验证，即模型不必为每项任务单独训练，也可能通过阅读上下文临时掌握任务规则。与此同时，他也开始把视线转向语言之外，尝试验证同一套思路能否扩展到图像和声音。

在 2020 年的 Image GPT 论文中，作为第二作者的 Radford 与团队将图片转换为像素序列，再像预测下一个词一样预测下一个像素。虽然这种方式生成效率不高，却表明序列预测并不局限于文字，模型也可以用它学习图像中的规律。

随后，Radford 参与了文本生成图像模型 DALL · E 的研发，并以第一作者身份推动视觉语言模型 CLIP。CLIP 使用从互联网收集的 4 亿组图文训练，通过判断哪段文字与哪张图片匹配，将图像和文字映射到相近的语义空间。

这种训练方式使自然语言成为调用视觉概念的接口。即使没有针对某项图像分类任务专门训练，CLIP 也能根据文字提示进行零样本识别，并由此成为图像检索、内容审核和生成式图像模型的重要基础组件。

2022 年，Radford 又将相似思路带到语音识别。Whisper 使用约 68 万小时网络音频及其转录文本训练，数据覆盖多种语言、口音、背景噪声和使用场景。与针对单一数据集反复优化的模型相比，Whisper 在部分标准榜单上未必占据绝对优势，但面对真实世界的复杂录音时更加稳健。

纵观 Radford 在 OpenAI 的几项核心工作，其方法一以贯之，即选择简单且可扩展的训练目标，用更广泛的数据换取迁移能力，让模型在未经专项训练时也能处理新任务。

显然，"GPT 之父 " 已不足以定义 Radford。更准确的说法是，他奠定了 GPT 的早期技术路线，并持续推动通用预训练从语言扩展到图像和语音。

2024 年 12 月，在 OpenAI 工作近九年后，Radford 离开公司，转向独立研究。此后，他还以顾问身份参与 Mira Murati 创办的 Thinking Machines Lab，以及研究前沿模型风险评测的非营利机构 METR。

2026 年 4 月，他与 Nick Levine、David Duvenaud 发布 Talkie，这款模型拥有 130 亿参数，使用约 2,600 亿个来自 1931 年以前英文材料的 Token 训练。

图｜复古模型与同架构现代模型从少量 Python 示例中学习编程的表现（来源：Talkie 项目官网）

有趣的是，Talkie 不知道互联网和 Python，也不了解第二次世界大战及其后的历史，但研究人员向它提供少量 Python 程序示例后，它仍能完成一部分简单编程题。这项实验虽不足以证明模型能凭空发明现代计算机，却提供了一个干净的研究对象，用来观察模型面对训练数据中从未出现的技能时能学到什么。

过去，Radford 通过增加数据和模型规模，观察通用能力如何形成。Talkie 则反向控制训练数据，用明确的时间节点排除现代知识和测试集污染。研究方向看似反转，但追问的仍是他从一开始就关注的问题：机器表现出的能力，多少来自对训练材料的记忆，多少来自真正的学习和迁移？

Radford 始终在用新的实验逼近这个问题，而他提出的那些追问，至今仍处在大模型研究的中心。

参考文献：

1.https://www.youtube.com/watch?v=XDB5beon4DY

2.https://talkie-lm.com/introducing-talkie

3.https://openai.com/index/unsupervised-sentiment-neuron/

4.https://techcrunch.com/2025/04/08/mira-muratis-ai-startup-gains-prominent-ex-openai-advisers/#:~:text=Ex-OpenAI%20CTO%20Mira%20Murati's%20new%20AI%20venture%2C%20Thinking,behind%20many%20of%20the%20company's%20more%20transformative%20innovations.

运营 / 排版：何晨龙

注：封面 / 首图由 AI 辅助生成