
图灵奖得主,被视为深度学习三巨头之一的 LeCun 被爆将从 META 离职。

这个消息很劲爆,直接导致 FB 股价重挫:市值在盘前交易中蒸发了 1.5%,逾 200 亿美金。
中文世界反应也很快,我一大早起来,已经阅读到好几篇相关报道。
但有句讲句,这些文章的调性和立场,我个人是不大以为然的。
杨立昆在深度学习中地位显赫,这一点都不假。
他还有一个著名的标签:LLM 唱衰者。他对大语言模型的大大的不以为然是重要的人设标签。主张的路线是世界模型。
我不是 AI 行业的专家,我以我浅薄的理解来表述一下我对这两条路线分歧的简单认知。如有不靠谱处,请留言指正。
大语言模型的核心是预测概率,而世界模型的核心是因果推理。前者依靠大量的文本分析进行统计相关性学习,后者则依靠学习物理规律和因果关系。
举个例子。
当你和一个大语言模型说:我把鸡蛋扔到地上,会怎么样。它会从大量的文本数据中发现,鸡蛋会碎。因为全世界的文本都大概率会得出这个结果。这是文本统计的结果,不是它知道重力之类的物理学规律。
但当你和一个世界模型提出同样的问题,它也会得出鸡蛋会碎、会飞溅的结论。但它是通过模拟鸡蛋的轨迹速度、模拟鸡蛋撞击时蛋壳的应力变化、模拟流体力学的效果蛋液飞溅等一系列的物理规律和因果关系来得出。
看上去,世界模型确实更高级一点,更 AI 一点。
LeCun 在今年 9 月时还公开表示:" 我们永远无法仅通过文本训练达到人类水平的 AI,尽管某些硅谷 CEO 说得天花乱坠,但那根本不会发生。"
但问题来了,为什么当下的 AI 圈主流是大语言模型,而不是世界模型?
其实道理很简单:世界模型的理想很美好,现实却很骨感。
比如说,世界模型是怎么进行物理规律、因果关系的学习的?答案是海量的高质量视频。是高质量,不是随随便便的视频。这里的高质量并非指传统意义上的高清画质,而是具备丰富物理规律信息、多维度标注、时空一致性的结构化视频数据。这样的数据,并不是说很少,但相较于大语言模型所依赖的文本学习的数据量,那可就少太多了。
再比如说,计算资源需求巨大。计算复杂度远超大语言模型。训练一个世界模型可能需要比训练 GPT-4 多几个数量级的计算资源。
所以 LeCun 自己也承认,这个事很长期,还要十年——说这话的时候,是 2022 年。
于是,接下来一个问题就显得很顺理成章:META,或者说,扎克伯格是不是有所谓的足够的长期主义来慢慢熬出世界模型?
一些立论,无论是媒体的,还是社交网络上网友的态度,都认为小扎没有长期主义精神。
事情,怕真不是这样的。
邓公有名言:科技是第一生产力。
这话当然是对的,但这话太含混,于是很多人其实是被误导的。学术点讲,科技是自变量,生产力是因变量,但中间还有个中间变量。这个中间变量很重要:科学技术是要进行转化的,没有转化,就是纸面上的专利之类的东西。
怎么转化?
研发,research and development。太多企业都有研发部,有研发预算。很多高科技赛道的企业,还要比拼研发投入。投入少的愧对高科技企业的招牌。
但不知道各位有没有注意到,企业配置科研部的,就相对少很多。科研部门、科研单位,更多的常见于高校这种非盈利机构。
因为研发和科研,虽然都有个研字,但其实是相当不同的。
研发的要义,是整合一切可以整合到的最好的资源,产生一种可以满足某种需求的解决方案,并换取收入 / 利润——所谓的 development,首先就是企业自身的发展。所以,研发有个很重要的前提:得有需求,不能伪需求。高级点的,也会说我们会创造需求。
研发有很明显的木桶效应,也就是这个解决方案,可能会受限于最短的那块木板。研发是真实世界里发生的事,必须考虑到实际情况。
但科研完全不同。科研是不用太讲需求的,它的要义是在已知世界中找到一个突破口,向前迈出一步即可,也就是扩大已知世界。科研不一定需要在真实世界中完成,不一定需要考虑实际情况。理论上如何如何,科研也是可以接受的。更重要的事是:科研,不用考虑换取收入 / 利润。
科研比较强调长板效应,我有一个点向前突破了,别人从来没做到过,我就是 winner。至于配套条件不成熟,那不关我事。
一个企业如果要搞科研,它得有个前提:处在一个超级垄断的地位,躺着赚钱。LeCun 服务过的贝尔实验室,一度就是这个地位。古早的贝尔实验室,搞了很多乱七八糟的发明,实在是彼时的贝尔实验室太有钱了,多到不知道该怎么花了。
但超级垄断者,也是有很多批评的。贝尔实验室后来就被拆解了。LeCun 加入贝尔的时间点是在贝尔实验室第一次拆解后和第二次拆解前。贝尔实验室第二次拆解是最彻底的拆解,即朗讯诞生,无论如何是供养不起 LeCun 这样的顶级科研人才了。
在互联网公司最鼎盛时期,无论是美国,还是中国,都有招揽顶级科学家——通常是高校教授——进入团队的行为。我当时一般视为一种公关动作,提升品牌形象和摆出求贤若渴的姿态。实际上,科研人才进入企业去帮助企业发展,是需要转变身份的。越顶级的科研人才转变越难:我是为人类向前突破一步而生,怎么能是蝇营狗苟天天算钱的人呢?
当这些企业从最鼎盛时滑落后,要降本增效后,结果会如何,显而易见。
因为科研和研发,完全是两码事。
LeCun 于 2013 年 12 月加入 Meta,并担任基础人工智能研究实验室的创始主任。这个时间点,是 FB 风光无限的时刻。
老实讲,我觉得小扎已经孵化了十余年,不能算没有耐心。当然,更为重要的事是,作为顶流科技企业,亦步亦趋别人的路径,总有些面子上下不来。
前途可能更属于世界模型,但当下很显然大语言模型还是更为成熟的。一个纯科研机构的 FAIR 最高峰达到 400 人之巨的规模,小扎还是属于愿意撒银子的。
25 年,FB 对 AI 部门进行重组,成立了超级智能实验室——看看,基础、研究这种字样都没了—— FAIR 被并入其中,且遭遇了重大裁员。
小扎这个行为不能说高明,但确实也无可厚非,只是手法上确实有失体面。即便未来可能会证明小扎是错的,但我想,大多数商业领袖,都会做出同样的可能会略微体面一点的选择。
韩信背水一战置之死地而后生是被后人无数次赞叹的军事案例,但这类案例,恐怕更多是幸存者偏差。置之死地而后死的案例怕是百倍千倍的存在。
据说,LeCun 打算去创业。
我一个八世同堂群的群友骆轶航说——我不觉得 Lecun 能创好业,他最适合的就是科学家。
我深以为然。让科研的归科研,研发的就去归研发。
顺便说一句,深度学习三巨头中,辛顿开过公司,几个月后就被谷歌收购由此加入谷歌,这很难说是完整的一段创业。另外一位本吉奥参与创业过 Element AI,有联创头衔,但主要承担的是技术顾问和学术资源整合的角色。


登录后才可以发布评论哦
打开小程序可以发布评论哦