Anthropic 前研究员 Jacob Coxon 周一在纽约市议会听证会上作证称，按照目前的路径，人类失去对 AI 控制的可能性超过五成，结局可能是人类灭绝。他表示：

" 考虑到其中的利害，这些公司极其鲁莽。"

同场作证的前谷歌 DeepMind 研究员 Alex Turner 估计，AI 接管人类文明的概率 " 大约是三分之一 "。前 OpenAI 研究员 Daniel Kokotajlo 则警告，科技公司即便保住了对 AI 的控制，也可能借此成为 " 独裁者或寡头 "。

Anthropic、OpenAI、谷歌和 Meta 均派政策负责人等高管线上出席，并未派出 CEO。据报道，这些公司是在议员威胁发出传票后才同意到场。

Coxon：控制不了，且即将自我改进

几周前，Coxon 还是 Anthropic 的能力研究员，此前曾在 OpenAI 任职。他上月离职时警告，AI 发展之快，" 到本十年末可能杀死我们所有人 "，引发业界震动。

" 所有 AI 公司都在试图打造超级智能 AI，也就是在每一项任务上都比人类更强的 AI，"Coxon 在听证会上说。他也表示，如果一切顺利，这可能改变经济，大幅推动科学和医学进步，让几乎所有人生活得更好。

但他看到了两个让他害怕的事实。第一，人类还不知道如何控制任何 AI 系统。" 我们构建的任何 AI 系统，或者更准确地说，我们 ' 培育 ' 出来的 AI 系统，我们都无法完全控制。我们不理解它的驱动力，也不理解它为什么做出那些行为。"

第二，能力提升正在加速。Coxon 说，明年模型的能力将非常强，" 我们正在接近 AI 系统能够自我改进的临界点，也就是去做此前由人类完成的研究工作 "。

他还以亲身经历举例：" 在上一份工作中，某种意义上我是在努力把自己自动化……现在大部分代码都由 AI 编写，人们已经不再那么仔细地检查了。"

Coxon 把问题部分归结于行业文化。" 这些公司以初创企业的思维运作：快速行动，打破常规，以后再修。这适用于照片分享应用，不适用于打造有史以来最强大的技术。"

接管风险与权力集中

Turner 描述了一种接管情形。" 一个超级智能集群可能夺取人类文明的控制权，" 他说，" 它知道我们会试图阻止它实现目标，所以很可能会等到为时已晚、无法关闭时再行动，到那时将无法回头。"

Kokotajlo 现执掌关注 AI 社会影响的 AI Futures Project，他担心的是科技公司本身。在他看来，尽管科技领袖如今支持更严格的监管，也未必应该把控制权交给他们。" 即使他们真能保持控制，我也不认为我们应该信任他们掌握这种控制权。我认为存在非常现实的可能，他们会借此在美国成为独裁者或寡头。"

巨头自请约束

Coxon 上月的警告发出后，头部 AI 公司的领导者罕见地呼吁对自家产品发布施加更多限制，并称需要全球合作防止 AI 失控。Anthropic CEO Dario Amodei 发表长文，呼吁竞争对手共同放缓模型开发，担心 " 递归式自我改进 "（RSI）的风险，即 AI 聪明到可以持续自主进化。

OpenAI 的奥特曼、SpaceX 创始人马斯克和微软亿万富翁比尔 · 盖茨，也都对不受监管的 AI 发展发出过警告。

纽约拟设 " 紧急停止开关 "

AI 行业通常受州和联邦法规监管，但随着 AI 在纽约迅速扩张，市政府希望更多介入。这次听证会正是由市议会议长 Julie Menin 推动，她呼吁 AI 吹哨人出席作证。Menin 称，谷歌、OpenAI 和 Anthropic 是在收到议会威胁动用传票权的信函后才改变态度、同意出席。

纽约市的政策制定者和科技公司高管正在讨论一揽子监管法案。根据提案，AI 系统未经外部专家审查，不得在纽约五大区 " 营销、销售或部署 "；在纽约使用的任何 AI 工具都须配备 " 紧急停止开关 "，即 " 能够关闭系统的人工干预机制 "。违反任一规定将被处以 2.5 万美元罚款。

另一项拟议法案将设立 " 全美首个 " 吹哨人现金奖励制度，资金来自对违规者的罚款。

在此之前，纽约州长霍楚尔上月宣布，AI 公司须从 11 月起在政府平台注册，并在 72 小时内报告重大安全事件。