【CNMO 科技消息】Anthropic 本周一提交了修订后的 S-1A 文件,外界的注意力大多落在财务数据上:营收猛涨,支出同样猛涨。但文件细则里还藏着一句更值得留意的提示:公司已经非常接近做出具备递归自我改进(RSI)能力的模型。

Anthropic
所谓 RSI,指 AI 在训练自身这件事上强到一定程度,从而带动能力出现急剧跃升。在担心失控的人看来,RSI 是一去不返的灾变:AI 把自己迭代得足够强大,最终脱离人类控制,甚至在追求目标时对造成的损害毫不在意。在乐观者眼中,它意味着难以想象的生产力与科学发现。
Anthropic 自己的表述介于两者之间。文件称公司在研发中大量使用 AI,但同时提醒:" 用 AI 去帮助构建能力更强的 AI,也可能带来相当大的安全风险,尤其是在它急剧加快进展速度的时候。" 这类风险被纳入公司的 " 负责任扩展政策 "(RSP)加以监控。
今年早些时候 RSI 流行时,不少人认为它只是个热词,或者至少是难以实现、难以定义、难以验证的目标。而 Anthropic 周一在风险因素部分新增了两点说明:一是公司已经用 AI 开发出新模型,其能力跃升在当时并未被察觉;二是按内部估算和对未来模型的预期,而非当前模型的表现,公司可能很快就会满足 RSP 中 " 由 AI 带来的进展急剧加速 " 这一门槛的定义。文件同时承认,过去曾出现、未来也可能出现 " 直到加速已经发生之后才发现 " 的情况。
不过 Anthropic 强调,目前没有任何一款模型越过这条线,并承诺在可预见的未来把人留在研发流程里。" 我们不认为可以在缺乏有意义的人类监督或理解的情况下,安全地用 Claude 完全自主地设计和构建下一代前沿模型。" 文件写道,公司正考虑修订 RSP,以确保前沿模型开发始终由人掌控。也有观点提醒,S-1 这类文件既是信息披露,也是一种营销,而 Claude 今年在编程、数学和网络安全上的进步确实有目共睹。
版权所有,未经许可不得转载


登录后才可以发布评论哦
打开小程序可以发布评论哦