6 月 5 日消息，AI 独角兽公司 Anthropic 日前发布了一篇报告，罕见的喊话全球 AI 公司，呼吁暂缓、甚至暂停开发更先进的 AI 系统，其表示，最新的 AI 模型已经开始显现出可能脱离人类控制的迹象。

这篇文章题为《当 AI 构建自身》（When AI Builds Itself），由公司联合创始人 Jack Clark 和内部研究机构负责人 Marina Favaro 联合署名。比较罕见的是，他们这次还把一批从没对外公开过的内部数据摆了出来，用来佐证 AI 正在加速 AI 自身开发。

Anthropic 表示，其代码库的代码里，已经有超 80% 是由 Claude 写的。而真正让他们警惕的，是一个叫递归自我改进的概念。简单来说，就是 AI 不需要人插手，自己就能设计并改进出更强的下一代。

Anthropic 认为，这个临界点很有可能在未来两年内出现，或者更早。一旦 AI 能完全自主地造出自己的接班人，人类对它的监控、约束，难度会比现在更大。

因此，Anthropic 才提出世界应该保留放缓或临时叫停前沿 AI 研发的选项。不过他们也清楚这很难做到，要是只有一家公司停下来，对手只会趁机加速往前冲。

所以 Anthropic 希望美国、中国等主要 AI 力量能坐下来达成共识，定出一套各方都能相互核查的规则。

Anthropic 把这套设想类比成核不扩散条约，但同时也承认，AI 其实比核武器更难管。毕竟训练一个 AI 比发射导弹容易藏得多，而在利益的驱使下，难保没有公司会偷偷接着搞。接下来几个月，该公司打算把政府官员、科学家、倡导组织乃至竞争对手都拉到一起，讨论这种全球协调机制到底该怎么落地。

不过，并不是所有人都认同这一观点，比如白宫的部分官员就对此有些不满，认为它过分渲染最坏情况、夸大了 AI 的风险，甚至有借安全之名给对手使绊子的嫌疑。

AI 的发展确实非常迅速，随之而来的，则是潜在的风险点，这确实需要警惕。如何在推动技术发展的同时，把监管也跟上，确实已经成为行业绕不开的话题了。