51CTO技术栈 17小时前
AI“自我进化”被吹过头了!李飞飞当场反驳谷歌科学家:“自我改进”和“递归自我改进” 是两回事
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

编辑 | 姜篇

李飞飞:让系统自己试验,把模型的准确率做高,很多机器学习方法早就在做。这本身还不叫 " 递归 "。

Jeff Dean:对。模型可以越做越好,但负责提出 " 下一次试什么 " 的那个系统,未必跟着变好了。

两人的争论,从一个看似很小的用词开始。

在斯坦福 HAI 对谈中,Jeff Dean 刚讲完 AI 如何自动尝试不同的模型架构,李飞飞就打断他,要求把 " 自我改进 " 和 " 递归自我改进 " 分清楚。两个人花了好几分钟,反复确认究竟是哪个系统在变强。

这件事离开发者并不远。今天的 Coding Agent 会根据报错修代码,也能回看失败记录,建议修改自己的 Skill。但一次任务做得更顺,并不能说明下一次遇到陌生任务时,它提出方案的能力也提高了。要说 Agent 会 " 自我进化 ",还缺少这验证。

李飞飞随后追问得更犀利:硅谷谈 RSI 时,常常仿佛只要让 AI 进入循环,它就能越转越快、一直加速。但那些实验,训练的时间从哪里来?

Jeff Dean 同意自动化可以缩短研发中的等待,却明确说,训练、计算、保存数据和检查结果都要花时间。快一些,和无限快,是两回事。

备注:Jeff Dean 曾任 Google 首席科学家,如今是 DiscoveryLoop 联合创始人兼 CEO;李飞飞是斯坦福 HAI 创始主任、斯坦福大学计算机科学教授。

李飞飞打断 Jeff Dean,区分一般自我改进与递归自我改进

以下内容按对谈话题整理。

模型准确率提高了,改进模型的 " 脑子 " 呢

Jeff Dean 举的是医学影像的例子。给系统一批核磁共振图像和对应结果,让它试不同方案,做出更准确的识别模型。它可以自动提出实验、运行实验,再根据准确率决定保留哪一种方法。

李飞飞立刻开口。这样的系统当然会让任务结果变好,可过去不少机器学习方法也能做到。她不愿意因此就把它叫作 RSI,也就是 " 递归自我改进 "。

李飞飞:等等,很多机器学习算法都能提高一个模型的表现。光做到这一步,还不能算递归。

Jeff Dean:例如让系统自动改进一个 MRI 影像模型,准确率可能不断上升。但这并没有改进那个负责提出下一次实验方案的基础系统。

Jeff Dean 用医学影像模型解释,任务模型变好与实验设计系统变好并非同一件事

区分 " 任务模型变好 " 和 " 实验系统本身变好 "

可以把它想成两层:第一层做题,第二层决定下一道题怎么出、用什么办法解。前者的分数提高了,不代表后者更会设计实验。Jeff Dean 所说的 RSI,要求改进触及第二层;下一轮又能利用这个改进,提出更好的方案。

这也是斯坦福研究院对于 RIS 的解释:系统改进自身能力,并利用增强后的能力继续改进。不过,定义并不等于已有系统达到了这个水平。判断一个具体项目时,仍要看它究竟改了什么,后续能力有没有经受新任务检验。

李飞飞不买账 " 永动机 " 理论

把词说明白后,李飞飞又问了一个问题:这种循环的物理边界在哪里?在她看来,硅谷对 RSI 的使用太宽松,有时还把它描绘成一台会不断提速、看不到尽头的机器。

李飞飞:现在很多人很随意地使用 RSI 这个词。我作为科学家,会在意它究竟指什么。尤其是有人把它讲得像能一直加速下去,那它的物理限制在哪里?

李飞飞追问 RSI 被炒作成无限加速时,现实中的限制被放在了哪里

Jeff Dean 没有回避这个问题。

他先讲了人类研究团队是怎么做模型的:研究员和工程师跑一批小实验,分辨哪些想法有效,再把有效的东西带进下一代模型。Gemini 从一代到下一代,在他看来也是这样一步步试出来的。

自动化确实能减少人的等待。一个实验凌晨两点跑完,研究员可能早上八点才坐到电脑前查看;如果系统自己读结果、安排下一轮,六小时的空档就可以缩短。在大型项目里,它还可能把不同人的实验结果放在一起判断,减少重复尝试。

Jeff Dean:实验凌晨两点结束,人不一定要到早上八点才看见结果。自动化系统可以及时检查,再决定下一步做什么。

Jeff Dean 用凌晨结束的实验说明自动化能够缩短哪段等待

但下一代基础模型不会因为 " 决定得快 " 就立刻出现。实验仍要运行,模型仍要训练,数据仍要存下来,结果还得有人或另一个系统分析。Jeff Dean 说,把整个循环想象成能无限快地转下去,缺少现实依据。

Jeff Dean:要让基础模型变得更好,训练和实验都得实际发生。计算要跑,结果要看,数据要保存;这个过程不会无限快。

Jeff Dean 说明模型改进不能跳过训练、计算和结果分析

Jeff Dean 的新公司,先挑 " 跑得动的循环 "

这番话并非一个旁观者在给 RSI 降温。Jeff Dean 离开 Google 后参与创办 DiscoveryLoop,目标就是把科学和工程研发中的 " 提出方案、运行实验、评估结果、决定下一步 " 接成自动循环。

传统实验循环需要人在提出、执行和评估各环节参与

DiscoveryLoop 设想通过专用工具与模型自动推进多轮实验

李飞飞问他,为什么先做这些领域。

Jeff Dean 给了一个答案:先找实验能在数字环境里完成的工作。计算机里提出方案,计算机里跑,再用可衡量的结果决定下一轮,整个过程比较容易加速;涉及真实物理过程的领域,要等设备、材料或人体数据,循环很难同样提速。

Jeff Dean:我们现在优先做整套循环可以在数字环境中完成的科学和工程问题。碰到必须依赖物理过程的领域,推进实验就没那么容易了。

Jeff Dean 说明 DiscoveryLoop 为什么先从可数字化的实验领域做起

他们目前优先关注机器学习研究、机器学习工程和硬件设计。

Jeff Dean 还主动给自己的项目划了线:假如系统替医疗领域做出一个更好的专用模型,那是针对任务的自我改进;单凭这件事,还不能称作递归自我改进。

Jeff Dean:为特定任务做出更好的模型,可以说是自我改进,但还不是递归自我改进。

Jeff Dean 列出 DiscoveryLoop 已搭建的 Agent 工作环境及并行实验循环

Agent 改了自己的 Skill,算不算 RSI

开发者已经能看到一些 " 自我改进 " 的小版本:Agent 做完任务,回看工具调用,发现测试说明写错了,于是提交一份 Skill 修改;下一次遇到同一类任务,它少走了几步弯路。

这件事有用,但按这场对谈中的严格区分,只修好一条指令,还不足以证明 RSI 已经发生。团队至少要弄清:它改的是当前任务的说明,还是提出改进方案的机制?换一批任务后,进步还在不在?系统会不会为了提高评分,悄悄放宽测试、跳过难题?这些是把 " 看起来变好了 " 变成 " 确实变强了 " 时要做的检查。这里是根据两人讨论作出的开发场景延伸,不是他们直接评价某款 Coding Agent。

李飞飞在用了一个容易理解的比方:人第一次煎蛋煎糊,第二次做得好些,这是学习;如果还学会了怎样更快学会新菜,改变的就是学习方法。Jeff Dean 接着说,人会学微积分,也会逐渐知道哪种学习方式对自己更有效。RSI 讨论的,正是后一层能不能不断改进。

李飞飞:第一次煎蛋做不好,多试几次总会进步。我想问的是,在这个过程中,那个负责学习的系统有没有发生变化?

Jeff Dean:人会学会一件事,也会学会怎样学习。后一种变化,会让你以后学更多东西时更快。

写在最后

这场对谈没有给出 "RSI 何时到来 " 的时间表。李飞飞要的是别把两种改进混在一起;Jeff Dean 要做的是让实验循环少等人、少重复,扎扎实实跑得更快。两人并不矛盾。

下次看到 "Agent 已经学会自我进化 ",不妨先问一句:它只是把这道题做对了,还是连提出下一道题、判断答案的办法也改进了?实验记录和新任务的结果,比那个响亮的标签更能回答问题。

参考链接:

https://www.youtube.com/watch?v=ooGKNwJWdb8&t=301s

——好文链接——

AI 会向开发者隐藏错误!Warp 负责人谈 Coding Agent 最难发现的失败

沃顿教授:程序员的新工作是 " 经理 ",监督 AI 比派任务更困难,别把 Agent 当 " 一键完成 "

" 前端已死 " 说早了!Epic React 创始人:框架已经不重要了,AI 会写 React 并不代表能做出好产品

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

李飞飞 斯坦福
相关文章
打开 ZAKER 参与讨论