Meta 风向已变,Yann LeCun 承认马上离职!
据多家权威媒体报道,Meta 首席 AI 科学家、负责「基础 AI 研究」(FAIR)的 Yann LeCun,预计将很快离职。
这位 65 岁的 AI 界元老,在 Meta 这家全球最大的科技公司之一担任核心大脑,可以说拥有无限的资源。
Meta 可谓挥金如土。它用天价薪酬疯狂从对手那里挖角顶尖 AI 专家。
在 7 月,扎克伯格甚至宣称「超级智能已近在眼前」。

那么,LeCun 为何要离开 Meta 呢?只是因为 Meta 的人事动荡吗?背后有何隐情?

小扎转向,LeCun 失势?
今年夏天,年仅 28 岁的 Alexandr Wang 成为 Meta 的首席 AI 官,让这位初出茅庐的大语言模型狂热者成了 LeCun 的上司。
此外,Meta 今年还任命了另一位相对年轻的首席科学家赵晟佳(Shengjia Zhao),职位也在 LeCun 之上。

在官方公告中,Meta 盛赞了赵晟佳在 scaling 方面带来的「突破」。而 LeCun 恰恰对 scaling 失去了信心。
他还告诫博士生:「不要做 LLM」。

如果你好奇为什么 LeCun 和 Zhao 都是首席科学家,那是因为 Meta 的 AI 部门组织架构相当奇特,分成了多个独立的团队。

媒体不断有消息放出,Meta 要对其 AI 组织结构动刀。
上个月,Meta 超级 AI 实验室裁掉了数百人,包括 10 年老将田渊栋。据称,这是为了理顺这种混乱的局面。
这已经是 Meta 在半年之内第四次调整 AI 业务了。

而那支曾由 LeCun 领导、风头一时无两的 FAIR,如今早已风光不再。据现任与前员工透露,这个部门经历了裁员、预算缩水,内部影响力也明显下降。
曾几何时,FAIR 是 Meta 内部思想最活跃的「象牙塔」,研究人员可以探讨各种 AI 未来路径,甚至可以做些「未必能成」的实验,完全不用担心产品化问题。
而现在,Meta 新组建的 AI 研究部门招来一大批高薪新兵,由 Wang 主导,目标明确:要快、要落地、要产品化。
在 AI 上,他领先了 40 年
LeCun 一向走在时代前沿——
早在「机器学习」还不被主流认可时,他就开始研究这个方向。
他曾在多伦多的 Geoffrey Hinton 实验室工作,那时 Hinton 还没成为 AI 传奇人物。
之后,他的职业生涯大多时间都在新泽西州的贝尔实验室度过,这家机构因诞生众多创新发明而闻名。
1947 年,贝尔实验室发明晶体管
「最让我兴奋的事情,就是和比我聪明的人共事,因为这会放大你的能力。」LeCun 在 2023 年杂志采访时说道。
在贝尔实验室,LeCun 曾参与开发手写识别技术,这项技术后来被广泛应用于银行自动读取支票。他还参与了一个项目,致力于将纸质文档数字化并通过互联网分发。
LeCun 曾表示,自己从小就对物理感兴趣,在贝尔实验室期间也主要和物理学家合作,看了不少物理教材。
我学到了很多表面上与 AI 或计算机科学无关的东西(我本科是电气工程,计算机方面的正规训练其实很少)。
2003 年,LeCun 开始在纽约大学教授计算机科学,后来成为该校数据科学中心的创始主任。
2013 年,扎克伯格亲自邀请他加入 Facebook(当时还未更名为 Meta),组建全新的 AI 实验室。
他领导这个团队四年,2018 年卸任,转为公司首席 AI 科学家,以「个人研究员」身份继续探索技术前沿。
2018 年,他与 Geoffrey Hinton 和 Yoshua Bengio 共同获得图灵奖——计算机界的最高荣誉,以表彰三人在神经网络方面的奠基性工作。

自那之后,LeCun 就逐渐转为「象征性人物」角色。他没有参与 Meta 首个开源大语言模型 Llama 的研发,也早就不再参与这类项目的日常工作。
据与他共事的人透露,LeCun 现在主要在做自己的研究项目,也经常出席各种技术会议,发表对 AI 技术的看法。
面对媒体的报道,Yann LeCun 只是指出了报道中的「小错误」,并没有否认即将离职的消息。

他知道自己在包括 Meta 在内的整个硅谷技术圈内,备受冷落。上个月在 MIT 的一次研讨会上,65 岁的 LeCun 直言:
这些年,我在硅谷、包括 Meta 的很多角落都不太受欢迎,因为我一直在说,3 到 5 年内,世界模型将成为主流 AI 架构,没人再会愿意用现在这种 LLM。
但他坚信自己对 AI 未来的判断。他的老朋友 Léon Bottou 曾告诉媒体,LeCun「倔强得可爱」——他会听别人意见,但更有自己坚守的信念。
现在,LeCun 在 Meta 好像「忍无可忍」,终于要离职了。
实际上,他早已多次暗示答案。
在通往通用人工智能的道路上,LeCun 近来以其对大语言模型的尖锐批评而闻名。
他认为,无论科技巨头如何扩大其规模,我们目前所理解的大语言模型都已是「强弩之末」,是一条「岔路、干扰,一条死胡同」。

他投身 AI 研究已有 40 年,对 AI 的判断屡屡应验。如今,他认为大多数人都错了。

他为现代 AI 奠定了诸多基础。而现在他坚信,领域内的大多数人都被大语言模型的「海妖之歌」引入了歧途。
这为他的离职提供了更多可能的解释。
LeCun 离开 Meta,或为了世界模型
此前报道,他正在与业内同行商议创办公司、寻找投资,组建专注世界模型的团队。
所谓「世界模型」,类似小动物或婴儿那样,通过视觉等感知数据主动学习世界规律;而 LLM 只是依赖海量文本做预测的模型。
LeCun 本人也从不避讳解释为何他认为「世界模型」才是 AI 的答案。
Meta 的 Llama、OpenAI 的 GPT、谷歌的 Bard 这些模型,都是靠海量数据训练出来的。LeCun 估算,如果让人去读完它们训练所需的所有文本,大概得花 10 万年。
但人类学习的主要方式,并不是读文本。
我们从与世界的互动中,获取的信息要多得多。LeCun 估计,一个普通的四岁小孩接触过的数据量,是目前最大的 LLM 的 50 倍。
大部分人类知识,其实不是语言。
所以这些系统永远不可能达到人类水平的智能——除非你彻底改掉它们的架构。
而他自己,早就准备好了替代方案。他称之为「目标驱动的 AI」(objective-driven AI)。

目标驱动的 AI 系统的构建宗旨,是完成人类设定的特定目标。
与仅靠纯文本数据驱动不同,它们通过传感器和视频数据训练来认知物理世界。

由此构建出的「世界模型」能呈现行动带来的影响,所有潜在变化都会实时更新至系统记忆。
他为何对世界模型如此沉迷?
在年初的「巴黎 AI 峰会」上,Yann LeCun 明确指出,他是可穿戴设备的坚定信徒。
他认为,未来,我们需要与可穿戴设备互动,就像与人交流一样,而大语言模型根本不像人类那样理解世界。
对于大语言模型,我们甚至无法复制猫或老鼠的智能,更不用说狗了。
这些动物能完成惊人的壮举,它们理解物理世界。任何一只家猫都能规划出极其复杂的行动,因为它们拥有关于世界的因果模型。

为了说明这一点,LeCun 设计了一个思想实验:「想象一个立方体悬浮在你面前的空中。好,现在让这个立方体绕着垂直轴旋转 90 度。它会是什么样子?」
他认为任何人类都能轻松完成,而大语言模型却无能为力:
「对人来说,在脑海中构建一个旋转立方体的心理模型,非常容易。」

当然,大语言模型可以毫不费力地写一首关于悬浮旋转立方体的打油诗,但它无法真正帮助你与这个立方体互动。
LeCun 断言,这是因为文本数据与处理非文本世界所获得的数据之间存在本质差异。
他指出,尽管大语言模型训练所用的文本量需要一个人花 45 万年才能读完,但一个四岁的孩子在醒着的 16000 小时里,通过眼睛看、用手触摸,已经处理了高达 1.4x10^14 字节的关于世界的感觉数据——
他认为这比大语言模型处理的数据还要多。
顺便一提,这些只是 LeCun 在演讲中给出的估算,他在其他场合也给过不同的数字。但这些数字指向的核心观点是:大语言模型存在着局限,而 LeCun 相信世界模型能够克服这些局限。
他又将如何构建世界模型?
在 Meta 时,LeCun 其实已经开始研究世界模型——他还拍了一个介绍视频,开头就让你想象一个旋转的立方体。
在 AI 行动峰会的演讲中,他理想中的模型包含一个对「当前世界状态的估计」,以某种抽象形式呈现与当前情境相关的一切。它不再是按顺序预测 token,而是「预测在你采取一系列行动后,世界将达到的最终状态」。
他表示,世界模型将使未来的计算机科学家能够构建出「可以规划行动——可能是分层级的——以实现某个目标的系统,以及能够进行推理的系统。」

LeCun 还坚称,这类系统将拥有更强大的安全特性,因为控制它们的方式是内置的,而不是像现在这样,面对一个神秘莫测、只会输出文本的黑箱,只能通过微调来加以修正。
LeCun 所说的经典 AI ——例如搜索引擎中使用的软件——所有问题都可以归结为优化问题。
他提出,他的世界模型将审视当前的世界状态,并通过寻找高效的解决方案,来寻求与某个不同状态的兼容性。
LeCun 在演讲中解释道:「你需要一个能量函数来衡量不兼容性,给定一个 x,找到一个对于该 x 能量较低的 y」。
如果说,我们从 LeCun 的公开言论中拼凑出的「真相」很粗糙、有些模糊,甚至完全错误,那也完全正常。
LeCun 似乎正在构想一个「登月计划」——
他希望推动 AI 领域迎来又一次类似 ChatGPT 那样的、诞生惊人能力的爆发式发展。
但这可能需要耗费数年——甚至永远无法实现——更不用说数十亿美元的投资了,才可能看到任何真正了不起的成果。


登录后才可以发布评论哦
打开小程序可以发布评论哦