Anthropic 即将登陆华尔街之际,却在上市文件中披露了一项安全警报:公司 AI 研发进展速度已达到自身设定的安全阈值,必须启动额外安全控制措施。
11 月 19 日,据英国《金融时报》报道,Anthropic 在更新后的 IPO 申报文件中承认,其技术进展速度已触发 2023 年制定的 " 负责任扩展政策 "(Responsible Scaling Policy)中的额外安全机制。这一披露恰逢公司将 IPO 发行价定为每股 83 美元,高于此前指引区间,估值约达 1.5 万亿美元之际。
触发安全机制的依据,来自 AI 评估机构 METR 本月发布的一份报告。该机构在获得 Anthropic 系统、人员及未发布模型的广泛访问权限后发现,Anthropic 过去一年的 AI 能力进展相当于此前约两年的历史进展。研究人员借助 AI 工具加速自身研发,正成为推动这一趋势的重要因素。
AI 进展速度翻倍,触发内部安全机制
METR 是一家专注于评估前沿 AI 能力及风险的研究机构。其最新报告显示,Anthropic 过去 12 个月实现了约两年的历史技术进展,能力提升速度较此前一年大约翻倍。
这一速度触及 Anthropic 自身设定的安全阈值。根据公司 2023 年制定的政策,当 AI 发展速度达到将过去两年的技术进展压缩至一年内实现的程度时,公司必须执行更严格的安全监督措施。
Anthropic 表示,此次判断基于对未来模型能力的预期及整体进展速度,并不意味着 AI 系统已经能够完全自主改进。新增措施将涉及安全保障、治理架构以及模型开发过程中的内部审查。
Anthropic 高管 Sam McCandlish 回应称,METR 报告中的许多结论与自己的判断一致。他承认,AI 正在加速公司的研究工作,但这一影响仍难以精确量化。
AI 参与自身研发,递归改进风险升温
技术进展提速背后,是 AI 开始越来越多地参与下一代 AI 系统的研发。这一过程被称为 " 递归自我改进 "(RSI),即 AI 系统利用自身能力协助开发更强大的后续模型。
Anthropic 在招股说明书中将一个模型协助构建下一个模型的 " 闭环 " 研发能力,列为自身相较竞争对手的重要优势,并称其已显著提升算力使用效率。
但这一能力也带来新的安全风险。Apollo Research 首席执行官 Marius Hobbhahn 表示,研究人员此前对递归自我改进的实现时间存在很大分歧,如今这一时间窗口正迅速缩短,而行业的安全准备远未到位。
AI 安全机构 "AI 未来项目 "(The AI Futures Project)认为,METR 报告揭示的加速趋势出乎意料,并预测超人类 AI 研究员很可能在 2027 年某个时间点出现。该机构认为,暂停或实质性放缓前沿 AI 开发已十分迫切。
Anthropic 首席执行官 Dario Amodei 去年 9 月也曾提出,应为 AI 递归自我改进的速度设置某种 " 速限 ",因为相关进展可能快得令人咋舌。
安全定位遭质疑,外部批评升温
Anthropic 披露安全机制触发之际,外部对其安全定位的质疑也在升温。
周三,由非营利机构 "AI 安全中心 "(Center for AI Safety)牵头,一个包括 Hugging Face 及 xAI 创始人在内的 AI 研究人员和安全倡导者联盟发表公开声明,指责 Anthropic 利用安全品牌吸引投资者、员工和公众,并直言其 " 并非一家安全的 AI 公司 "。
声明特别指出,Anthropic 一方面警告递归自我改进可能导致权力集中和人类失去控制,另一方面却在竞相开发相关技术。
类似担忧也出现在 AI 行业内部。OpenAI 董事会成员、AI 安全研究员 Paul Christiano 近日在一档播客节目中表示,AI 开发自动化程度不断提高,可能在短时间内推动极其强大的 AI 出现。如果行业经历快速的智能爆炸并走向超级智能,人类可能最终无法控制所开发的系统。
Hobbhahn 则认为,即使 Anthropic IPO 失败、AI 融资市场陷入低迷,也未必能够阻止技术继续跃升。他表示,现有 AI 实验室拥有足够资金推进至少两轮重大技术突破,即使市场泡沫破裂,也可能诞生远超人类能力的模型。


登录后才可以发布评论哦
打开小程序可以发布评论哦