钛媒体 昨天
AI要自己造AI了?Anthropic最新暴论,到底有多真?
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

文 | 世界模型工场

Anthropic 又出暴论了。

这次他们发了一篇报告,标题叫《When AI Builds Itself》(AI 在构建自己)。

先来几组数字感受一下:

截至今年 5 月,Anthropic 超过 80% 的代码已经由 Claude 自己写;工程师人均代码产出翻了 8 倍;Claude 可以连续自主工作超过 16 小时。

Anthropic 给出的判断是,如果按现在的趋势继续下去,AI 自己设计、构建下一代 AI,是完全可能发生的。

基于这种风险,Anthropic 甚至呼吁全球放缓前沿 AI 研发!

观点一出,社交媒体立刻炸了:"AI 要自己造自己了!"" 递归自我改进(RSI),奇点要来了!"

熟悉的配方,熟悉的味道。

如果你在 AI 圈混了超过两年,一定认得这个节奏:

每隔几个月,就会有一家头部 AI 公司抛出一个让人觉得 " 时代要变了 " 的论断;

社交媒体集体进入焦虑模式,然后……

日子还是照过。

前几天 OpenAI 刚说完 "AI 显现出递归自我改进(RSI)的早期迹象 ",Anthropic 后脚就来一篇 "AI 正在造下一个自己 "。

现在连营销话术都要你追我赶了吗?

今天这篇文章就来拆解一下,Anthropic 和 OpenAI 说的 RSI 到底是什么?现在到了哪一步?未来 AI 可能走向哪里?

看完你再决定,到底该不该焦虑。

Anthropic 走到了哪一步?

递归自我改进 ( Recursive Self-Improvement,RSI ) ,是 AI 圈讨论了近二十年的老话题。

核心逻辑很简单:AI 能改进自身,改进后的下一代又能改进再下一代,不需要人类介入,形成自我加速的能力飞轮。

这是 AI 奇点理论的触发条件。

不过在讨论 " 目前 RSI 到了哪一步 " 之前,你得先搞清楚,RSI 不是一个临界点,而是一个阶梯。

这些年关于 RSI 的研究,共同给出了一把衡量 RSI 进度的尺子,可以把它大致分成六个阶段:

那么,Anthropic 现在在哪儿?先看 Anthropic 自己怎么说。

Anthropic 在报告里也画了一张时间轴,把 AI 介入 AI 开发,分成五个阶段:

按他们自己的地图,他们现在已经在第四阶段,离终点只剩一步。

但事实真的如此吗?

对照业界研究的六个阶段,Anthropic 的位置更像是处在第 3-4 阶段之间,也就是半自动研究闭环和自改进 Agent 阶段。

Anthropic 内部有一个公开披露的实验:

Claude Agent 全程自主完成一个 AI 安全研究项目,从提假设到分析结果全部自动,用约 800 小时、约 1.8 万美元算力成本,恢复了 97% 的性能缺口,而两名人类研究员花了整整一周只恢复了 23%。

这是一个真实运转的半自动研究闭环,说 Anthropic 已处在第 3 阶段不为过。

第 4 阶段的迹象同样存在。

Anthropic 做了一个代码优化实验。

Claude 拿到训练小模型的代码,自主运行、计时、修改、再运行,跑出了 52 倍的速度提升,人类熟练研究员做同样任务只能做到 4 倍。

这非常接近自改进 Agent 的逻辑:改工具链、跑 benchmark、选更好的版本。

卡住 RSI 的关键

但值得注意的是,还有一个关键环节没被 Anthropic 跨越。

Anthropic 在文章里提到了一个词,叫做 research taste(研究品味),这是判断什么问题值得做的能力。

用他们自己的比喻:

初级员工接到的任务是 " 这个按钮坏了,去修 ";

有经验的员工接到的是 " 网络有时候会变慢,查一下原因 ";

最资深的人在思考的是 " 我们下个季度该做什么 "。

目前,Claude 在第一层已经很强,第二层在快速追赶。

但在第三层,比如 " 什么问题值得做、哪些结果可信、什么时候该放弃 " 这些研究品味上,人类仍有比较优势。

只要人类还在主导这个环节,AI 就没有实现完全的自改进 Agent,更不用说达到完整 RSI 阶段。

不过,报告里一个数字值得单独拿出来。

在 " 判断研究下一步该怎么走 " 这件事上,Claude Mythos Preview 已经能在 64% 的情况下,被另一个 Claude judge 判定为提出了更好的下一步,五个月前这个数字还是 51%。

这表明进化的趋势是对的,但离 AI 完全自主判断还很远。

更重要的是,这个数据是在问题边界清晰的情况下测量的。在真实环境里,AI 能判断到什么程度,其实并无定论。

AI 发展的三种结局

Anthropic 抛出的数据很亮眼,但是 AI 未来到底会发展到什么程度,Anthropic 也不敢把话说满,在报告里老老实实列出了三种情形。

第一种:趋势停在 S 曲线上

当 AI 能力增长遇到天花板—— Transformer 架构撞墙、算力和能源供应跟不上、地缘政治把全球 AI 协作切断,指数曲线会弯成 S 形,然后趋于平缓。

Anthropic 认为,这是三种结局里最不可能发生的一种。

但他们也承认,即使是这个最温和的版本,后果也不轻松。

今天已有的模型能力就此冻结,也已经足够让一家百人公司,越来越接近过去千人公司才能完成的工作。

社会结构的震荡不会因为 AI 停止进步而消失,它只是换了一种形态继续。

第二种:飞轮转起来,人类还在掌舵

AI 处理执行,人类负责判断;AI 生成选项,人类做最终决策。

听起来是个不错的结局,但 Anthropic 指出了一个隐藏的麻烦:Amdahl 定律,加速一个环节,瓶颈会转移到下一个。

比如代码写得快了,code review 变成新的堵点;实验跑得快了,结果分析又慢下来;分析快了,决策链路又开始拖后腿。

Anthropic 说他们内部已经在经历这个过程,每一波效率提升之后,下一个瓶颈就浮出水面。

它意味着人类掌舵会越来越费力,要求越来越高,人类需要在更快的节奏里做出更好的判断。

Anthropic 认为这是最可能发生的近期情景,而且他们现在已经在这条路上了。

第三种:完整 RSI,人类退到验证角色

AI 开始自主构建后继模型,进度由算力决定,人类从主导者变成监督者和验证者。

好处在于,可能快速实现医疗突破、科学加速、贫困问题的系统性解法。

但坏的一面是,今天模型训练中,哪怕只有一个微小的目标偏差,在完整 RSI 的迭代循环里可能以指数速度放大,直到人类完全失去干预能力。

这是最不确定的结局。

讲完三种结局,报告末尾 Anthropic 开始呼吁,希望建立某种全球协调机制,在风险上升时能够有序放缓甚至暂停前沿 AI 开发。

翻译一下这段话的意思:AI 递归自我改进势头太猛,我们很担心,觉得应该有人出面让大家一起停下来,但 Anthropic 不会单方面停。

多么熟悉的味道。

这套叙事 Anthropic 已经用了不止一次,在制造焦虑的同时,把自己定位成 " 威胁的发现者 " 和 " 最有能力应对威胁的公司 "。

但看完 Anthropic 内部真实情况,以及它自己给出的 AI 未来可能性,你还会感到焦虑吗?

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 熟悉的味道 工程师
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论