字母AI 6小时前
十年前的百度,聚拢了硅谷最杰出的天才,每个都比姚顺雨耀眼……
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

缩放定律(Scaling law)可能是 AI 时代最重要的 " 金科玉律 " 之一。

缩放定律的原出处,是 OpenAI 的一篇叫做《神经语言模型的缩放定律》(Scaling Laws for Neural Language Models)的论文。

而这篇论文的通讯作者,就是达里奥 · 阿莫迪,他的另一个广为人知的身份,则是 Anthropic 的联合创始人。

Anthropic 在 AI 编程领域优势明显,地位隐隐然与 OpenAI 和 Google 鼎足而三,刚传出将以 3500 亿美元估值融资 200 亿美元的消息。作为联创,阿莫迪当然功不可没。

但很少有人注意到,阿莫迪还有另一个身份——百度前员工。

按照百度内部通讯软件 " 如流 " 的分级来看,阿莫迪应该叫 " 红度阿莫迪同学 "。

更有意思的是,在 2024 年底 Amodei 在一次播客采访中,阿莫迪透露 2014 年与吴恩达在百度研究 AI 的时候,他就已经发现了模型发展的规律缩放定律。

此话一出,掀起了一阵 " 百度是否比 OpenAI 更早发现缩放定律 " 的争论。

Amodei 不是个例,在硅谷," 百度 " 频繁出现在大佬的履历里。

最为人所熟知的是 AI 学术大牛、斯坦福大学教授、谷歌大脑联合创始人吴恩达,他曾是百度硅谷实验室的 " 灵魂 "。

离职时,他不吝对李彦宏的赞美,称他是 " 第一个清晰看到深度学习价值的大型公司 CEO,也是全球最好的 AI CEO 之一。他的热情和百度的决心让我觉得这是一个难得的机会 "

在 Meta,沙兰 · 纳朗(Sharan Narang)组建并扩展了 Llama 预训练团队,交付了 Llama 2、3 和 4 的预训练模型,奠定了 Meta 在生成式人工智能领域的领先地位。

而他曾是百度硅谷实验室的高级研究员,离开后先在谷歌当技术主管,后跳槽到 Meta。

在苹果,曾担任 AI/ 机器学习相关方向总监的亚当 · 考特斯(Adam Coates),曾是百度硅谷实验室的早期核心成员之一,跟随师父吴恩达加入,并在后者离开之后接棒。

在英伟达,应用深度学习副总裁布莱恩 · 卡坦扎罗(Bryan Catanzaro),曾是百度硅谷实验室的高级研究员,专门研究 GPU 优化。

他们的共同经历,是在十年前的 " 百度硅谷实验室 " 效力过。那代表着百度的一次硅谷野心。

01. 硅谷野心

百度请来了 " 谷歌大脑(Google Brain)之父 ",要在硅谷搞一个 " 百度大脑 ",这在当时是爆炸性新闻。

2014 年,百度硅谷实验室成立,专注于人工智能与深度学习技术研究,与北京深度学习实验室、大数据实验室共同构成百度研究院核心科研体系,并任命斯坦福大学教授、Coursera 联合创始人吴恩达出任首席科学家,负责统筹百度在北京与硅谷两地的人工智能研究工作。

吴恩达是谷歌大脑的早期核心成员之一,也是深度学习从学术走向工业化过程中最具标志性的人物之一。

对一家中国互联网公司而言,在这一时间点、以研究负责人而非顾问的形式,将这样一位学者级人物纳入体系,在硅谷并不多见。

媒体在报道中强调,这是百度在硅谷长期布局人工智能研究的重要一步,并披露百度计划在未来五年内为这一国际研究项目投入约 3 亿美元,目标是将硅谷团队扩展至约 200 人规模。

那一年,Transformer 架构尚未出现," 大模型 " 仍是一个不存在的概念。但深度学习的拐点已经到来。

2012 年,AlexNet 在 ImageNet 竞赛中取得压倒性优势,卷积神经网络开始从学术论文走向产业实践。

2013 年,Facebook 请来杨立昆(Yann LeCun),成立 Facebook AI Research。

2014 年初,谷歌以数亿美元级别的价格收购英国 AI 公司 DeepMind。

人工智能已经不再仅仅是研究热点。

但在当时,这仍然是一条高投入、长周期、结局不明的路线。少数巨头已经开始下注,大多数公司仍在观望。

百度正是在这一阶段选择大胆押注的一方。

彼时,移动端搜索使用量开始超过 PC。但移动广告的变现效率明显低于 PC,成本结构也更为复杂,这使得公司整体盈利能力承压。

在多次公开场合,李彦宏将这种变化描述为一次结构性的转折。他强调,从 PC 向移动的迁移并非终点,更大的技术浪潮正在酝酿,而人工智能将深刻改变信息获取与分发的方式。

正是在这样的判断下,百度决定不再只在国内推进应用层改进,而是直接进入全球 AI 研究最密集的现场——硅谷。

其实早在 2011 年,百度硅谷研究院就成立了,但主要是将硅谷的中国工程师招募回国。

而吴恩达的加入才是百度卷入硅谷人才争夺核心圈的标志,在那之后,百度的 AI 研究形成三大实验室——硅谷人工智能实验室(SVAIL)、深度学习实验室(IDL)、大数据实验室(BDL),一个在硅谷,两个在北京,形成了中美两地联动的格局。

推动这次合作的关键人物是吴恩达的老朋友、百度当时负责深度学习研究的高管余凯(Kai Yu)。两人多次在帕洛阿尔托一家喜来登酒店会面,从早餐谈到晚餐,随后余凯又引见了百度的其他研究负责人。

之后,吴恩达飞往北京,与李彦宏进行了一次长达数小时的会谈,讨论百度研究体系未来应当如何搭建。

这并不是一次传统意义上的跳槽谈判。对吴恩达而言,吸引力不在于头衔,而在于空间。

百度为他提供的,是从零设计研究方向、在硅谷搭建国际化团队、并在相对独立的环境中推进长期研究的空间。吴恩达在接受采访时直言,他对" 从零开始构建一个国际研究组织 "感到兴奋。

对许多研究者而言,这意味着一家中国公司正在以接近 Google、Facebook 的方式,系统性地参与人工智能基础研究竞争。

02. 人来了

吴恩达的存在本身,就形成了一种吸引力。他在斯坦福和谷歌大脑的背景,让不少研究者愿意过来试一试。

实验室早期最重要的工作之一,是语音识别系统 Deep Speech。模型要足够大,数据要足够多,训练要持续足够久,人才极其重要。

一批后来在 AI 世界反复出现的名字聚到了一起。

亚当 · 考特斯(Adam Coates)是其中的核心人物之一。他本身是斯坦福出身,师从吴恩达,研究背景扎实。他跟随吴恩达加入百度,在实验室里承担的角色,更多是把 " 研究 " 变成 " 能持续推进的工程 "。

在工程层面,布莱恩 · 卡坦扎罗(Bryan Catanzaro)的作用逐渐显现。他从英伟达跳槽过来,关注点在于如何让这些越来越大的模型,真正高效地跑在 GPU 上。很多时候,瓶颈并不来自算法,而来自系统效率。

格雷戈里 · 迪亚莫斯(Gregory Diamos)来百度之前,是英伟达 CUDA 架构师。他在百度对 DeepSpeech 和 DeepVoice 系统有贡献,他关注的则是更底层的系统问题:训练过程如何被拆解、调度和优化,如何把高性能计算的思路真正嫁接到深度学习训练中。

在这些人之间,后来创办 Anthropic 的阿莫迪当时并不显眼。

他在团队里的身份,只是一名研究科学家,参与模型和系统的实际打磨。但正是在这段经历中,一种后来被反复提及的直觉,逐渐成形。

多年之后,阿莫迪在回顾自己职业路径时提到,他对 " 规模 " 的认识,并不是来自某一次灵光乍现,而是来自反复的工程实践。在 Deep Speech 的实验中,当模型规模、数据量和计算资源被同步放大时,系统性能并不是随机起伏,而是呈现出一种平滑而稳定的提升趋势。

那时," 缩放定律 " 还没有成为一个被命名的概念,多年后,2024 年底,已经是 Anthropic 创始人的阿莫迪透露此事,引发了 " 百度是不是先于 OpenAI 发现缩放定律 " 的争议。

当年在百度观察到类似 " 缩放定律 " 的科学家,迪亚莫斯也是其中之一。

到现在他的领英界面上百度那段工作经历里还写着头衔是 " 大语言模型缩放定律研究员(LLM Scaling Law Researcher)"。

随着项目推进,实验室本身也在变化。

最初,它更像一个相对独立的研究飞地;但到 2016 年前后,语音、视觉、自然语言处理、自动驾驶等方向同时展开,团队迅速膨胀,研究开始不可避免地与公司整体战略发生更紧密的咬合。

实验室不再只是 " 做研究 ",而逐渐承担起连接前沿探索与内部工程体系的角色。

正是在这种张力之下,百度在 2017 年做出了一个新的组织性选择。第二个大型研发中心在硅谷设立,这一次,重心不再是基础研究,而是更明确地服务于自动驾驶等方向的工程落地。

新的中心配备了车辆实验室,主要支持 Apollo 自动驾驶平台的开发与测试,同时也容纳了部分安全相关团队。它与最初的硅谷 AI 实验室形成了分工:一个更偏前沿研究,一个更偏系统工程和实际应用。

那场以研究为核心的实验阶段,正在走向尾声。

接下来不可回避的问题是:从 2014 年到 2017 年,百度这套 " 在硅谷重金押注 AI" 的策略,究竟有没有起到效果?

如果从最直观的财务结果来看,答案并不简单。至少在这三年里,人工智能并没有立刻成为百度新的现金引擎。2016 年,百度营收增速明显放缓,四季度甚至出现同比下滑,公司在财报沟通中反复强调 " 转型期投入 " 的必要性。这意味着,AI 更像是一项面向未来的长期基础设施投资,而不是可以迅速反映在利润表上的业务。

但如果把标准切换为 " 是否改变了公司在技术与人才层面的地位 ",结论就要复杂得多。

在技术层面,百度在这一阶段确实获得了前所未有的国际能见度。

Deep Speech 2 的论文被大量引用,作者名单中同时出现北京与硅谷研究者。百度的语音识别成果开始频繁被拿来与谷歌、微软对比,进入全球技术叙事。

03. 散是满天星

吴恩达在 2017 年 3 月宣布离开百度。在他的公开信中,几乎看不到任何冲突描述,他强调的是团队已经成型、接班安排已经就绪,以及公司在 AI 上的长期投入。文字克制而体面。

就在吴恩达离开前后,百度内部确实发生了一轮明确、可见,而且影响深远的管理层与组织结构调整。

最关键的变化发生在 2017 年 1 月。百度宣布引入陆奇,担任集团总裁兼首席运营官(President&COO)。在此之前,陆奇长期任职于微软,以执行力强、组织管理风格明确著称;再往前,他也是 Yahoo 搜索与广告体系的重要负责人。这是一个典型的、以业务整合、流程效率和结果导向闻名的管理者。

在陆奇加入之前,百度的 AI 体系——尤其是硅谷实验室——更接近一种明星科学家牵引的研究 " 飞地 " 模式。

吴恩达直接向李彦宏汇报,百度硅谷实验室在组织上相对独立,研究方向、用人节奏、项目推进,很大程度上围绕吴恩达本人展开。这种模式的优点很明显:

决策快、学术自由度高、对顶级研究者极具吸引力。

它的隐含前提是:研究本身被视为阶段性优先级最高的事情。

但到了 2016 年末,这个前提正在发生变化。

一方面,在当年 9 月召开的百度世界大会上,李彦宏首次提出 " 人工智能是百度核心中的核心 ",并将吴恩达安排为仅次于自己的第二位演讲嘉宾,AI 被明确推到公司级战略的最前台。

另一方面,Apollo 自动驾驶、对话式系统、智能硬件等方向开始被提升到公司级战略高度,AI 不再只是研究部门的事情,而是需要与搜索、地图、云、汽车产业链发生深度耦合。

这正是陆奇被引入的背景。

在这样的结构变化下,吴恩达时代那种 " 由一位世界级学者牵引、跨中美两端、以研究为核心 " 的模式,开始显得不再匹配新的组织逻辑。

随着百度进入一个更强调执行、协同和业务结果的阶段,个人影响力必然要让位于组织机制。

吴恩达所代表的那种高度依赖个人号召力、研究优先级极高的模式,完成了它的历史使命。

2017 年还有一个重大的变化,那就是特朗普就任美国总统,中美科技摩擦陡然加剧,百度硅谷实验室的长期可行性必然会受到审视。

彼时特朗普推出强硬的移民政策,持有 H1-B 签证的科技从业者人心惶惶,李彦宏公开鼓励人才回国发展。

从吸纳以余凯为代表的归国人才,到直插美国腹地在硅谷抢夺人才并在当地直接开展工作,再到鼓励人才回国,李彦宏微妙的心态转变已见端倪。

除了 AI 在短期内难以对财务形成贡献以及外部环境的变化,更深层的张力来自组织内部:研究导向的 AI 探索,始终需要嵌入以搜索为核心、节奏高度成熟的业务体系,而这种协同,从未真正顺畅。

一条财经曾经在 2017 年的一篇报道中援引知情人士的话:" 别看百度人工智能那么风光,实际上搜索的数据根本不向研究院开放。做人工智能的这拨人都是海归、精英,跟搜索那边完全是两种风格,两边互相看不上。"

这也解释了为什么 2017 年前后,不只是吴恩达,一批早期在硅谷实验室集结的研究者,在随后一两年内陆续离开。

回头看,百度硅谷人工智能实验室是以一种更安静,也更复杂的方式退场的。

它没有等来一纸 " 关闭公告 ",却在 2017 年之后逐渐失去了作为独立研究中枢的意义。核心人物离开,研究重心回撤,组织结构被拆解和吸收。

这与当年的雄心形成了鲜明对比。

百度曾在公开场合多次描绘一个极具野心的未来——人工智能将成为公司最重要的增长引擎,甚至承载着国际化的想象,彼时流行的说法是 " 到 2020 年,AI 将深度重塑百度的业务结构 "。

现实却是,到了那个时间节点,百度真正押注的重心已经明显转向了更可控,也更贴近现实的方向:自动驾驶、云服务、产业智能化。AI 不再是一个独立的信仰中心,而是被重新嵌入业务体系,成为工具和能力的一部分。

那个曾被寄予厚望、试图在硅谷复刻一次技术奇迹的实验室,最终完成了它的历史使命。

硅谷实验室所代表的,是一种以研究优先、以个人号召力和前沿探索为核心的模式。而百度最终选择的,是更强调组织效率、工程落地和业务协同的路径。

那些从硅谷实验室离开的人,则沿着各自的方向四散开花。

考特斯先是接棒了老师吴恩达,成为百度硅谷实验室的负责人,然后他也离开了,之后进入 Apple,继续在更封闭,也更工程化的体系中推进机器学习实践;

卡坦扎罗从英伟达来,挥别百度之后,又回到英伟达,现在已经是英伟达副总裁、深度学习应用研究部分负责人。他最为人所知的形象标志,是一头长发和茂密的胡须;

" 大语言模型缩放定律研究员 " 迪亚莫斯继续深耕系统与算力方向,创办了 AI 公司 Lamini。

而阿莫迪,把在 Deep Speech 工程实践中形成的 " 规模直觉 " 带去了新的地方,最终创办了 Anthropic,站在了后来大模型浪潮的最前沿。

至于吴恩达,当年余凯劝说他加入百度的时候,曾说他 " 在在线教育领域做得太出色了,但那不是 AI"。

吴恩达离开百度之后,再次把重心放回 " 教育 "。

他通过 Courser 把深度学习课程推给成千上万的学生;随后又创办 DeepLearning.AI,把多年积累下来的方法论、经验和判断,整理成课程、项目和创业资源。

当时间来到今天,回头翻看这些人的履历,你会发现一个反复出现的注脚——百度。

它不指向某一项具体成果,而更像是一段共同经历。

在那几年里,这些人曾同时站在野心交汇的地方,看清了什么是可行的,什么是不可持续的,然后各自走向不同的方向。

从这个意义上说,百度硅谷实验室并没有成为全球 AI 叙事的最终中心。它更像是一处早期的中转站——在浪潮真正成形之前,率先聚拢了一批人,让他们完成一次密集的试探与碰撞。

当方向切换、舞台转移,这些人离开,故事也随之散开。硅谷实验室并未被正式关闭,但它所代表的那种时代,已经停留在了那里。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

百度 莫迪 深度学习 谷歌 google
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论