" 我已经没有任何理由再去推高 Anthropic 的估值。"

说这话的，是因从 Anthropic 离职引发上亿次关注的 AI 研究员 Jacob Coxon。

过去 3 年，他先是在 OpenAI 参与模型预训练，随后加入 Anthropic 做同样的工作。

然而仅在 Anthropic 待了 4 个月后，他就离职了。

尽管……按照公司的归属安排，工作满 6 个月才能真正拿到第一批股权。

也就是说，再等 2 个月，他大概率就能赶上 Anthropic 上市前的这轮财富快车。

△Jacob Coxon

但就是这两个月，Coxon 也等不了了——这也回应了此前的一种质疑：

AI 公司员工不断强调模型有多危险，会不会也是在营销模型能力，抬升公司估值？

这次可能还真不是。

切割了现实利益，Coxon 的中场吹哨，或许真的值得大家停下来沉思片刻。

A 社已经是很重视安全的公司了，但也无解

9 月 8 日，Anthropic 预训练研究员 Jacob Coxon 在 X 上发布了七段声明，宣布辞职。

他认为 OpenAI 和 Anthropic 都没有负责任地行事，而是正冲向自我进化的超级智能，拿所有人的性命做赌注。

这条推文在 24 小时内就获得了超过 7600 万次浏览，目前已超过 1.6 亿次。

他表示这不是他个人的看法，因为许多参与开发前沿 AI，曾见识过其巅峰性能的人非常相信，这项技术可能会在本世纪末前导致人类灭绝。

随后，多名仍在 Anthropic 任职的安全研究人员公开转发并回应了他的观点。

其中，Anthropic 对齐科学负责人 Evan Hubinger 表示，Coxon 对行业内部态度的描述是正确的。

他本人甚至比 Jacob Coxon 更激进：" 未来十年内 AI 导致人类灭绝的概率超过 10%"。

Hubinger 同时承认，Anthropic 虽然正在尽力降低风险，但目前尚未形成解决超级智能对齐问题的具体方案。

这里所说的 " 对齐 "，指的是让 AI 系统的目标和行为持续符合人类意图，尤其是在系统能力超过人类之后，仍能受到可靠约束。

对于这一判断，黄仁勋也公开反对，称是" 彻底的胡说 "。

不过，在 Anthropic 内部，支持 Coxon 核心判断的还不止 Hubinger。

Anthropic 可扩展监督负责人 Samuel Marks 也表示：职位越高的员工对风险越担忧。

另一名 Anthropic 安全研究员也表示，Coxon 对实验室内部状态的描述大致是争取的。

尽管如此，Coxon 并未将 Anthropic 描述为一家忽视安全的公司。

相反，他在接受 WIRED 采访时表示，Anthropic 仍然是目前 " 远远最负责的参与者 "。在认真对待文明级 AI 风险方面，与 OpenAI 之间存在 " 天壤之别 "。

（OpenAI 在安全这一块儿也是成为公认的拉踩对象了……）

按照 Coxon 的说法，OpenAI 内部的许多人尚未充分认识到超级智能可能带来的文明级影响，而 Anthropic 的员工则能更深刻地理解这些风险，也因此将率先开发出安全的超级智能视为一项必须完成的任务。

也就是说，如果超级智能最终不可避免，那么最重视安全的实验室应当尽可能率先实现它。

Anthropic 不相信其他公司能够负责任地完成这一转变，所以自己必须在竞争中保持领先。

正如 Coxon 强调的，尽管他还没有看到 Anthropic 为了赢而牺牲掉安全，但当研发速度需要继续提高时，（* 这种状态还能不能撑下去就不好说了。

这个逻辑可能会形成一个悖论。

为了更安全，要更快的速度，而更快，可能会更不安全。

因为如果始终面临率先取得突破的压力，就需要缩短训练、评估和发布之间的周期。研究人员用于理解模型内部机制、检查危险行为和处理异常结果的时间必然会减少。

△图片系 AI 生成

Coxon 称，Anthropic 内部已经出现了" 战时状态 "的紧迫感。

一些员工会使用 "endgame"（终局）和 "crunch time"（关键时刻）等词讨论当前阶段——

认为未来 1-2 年可能将决定人类以何种方式进入超级智能时代。

Coxon 直接将这种研发状态比作" 小型曼哈顿计划 "。

然而，不同于曼哈顿计划的是，这项最终可能影响全人类的计划目前还在私企的内部会议上推进。

立即刹车，有可能吗？

那么，连 Anthropic 这样重视安全的公司也有安全风险，该怎么办呢？

Coxon 认为，问题可能已不在于选择并相信一家更安全的实验室那么简单了。

因为，" 在竞赛环境中，Anthropic 甚至都无法完全信任自己 "。

这里涉及一种典型的竞赛困境：

尽管，参与者可能都希望整体减速，以获得更多时间研究安全问题。

但，任何一方率先减速，都可能失去技术和市场上的主动权。

因此，每家公司都会把其他参与者仍在加速，作为自己不能停下来的理由。

这样一来，即使所有参与者都意识到风险，最终结果仍可能是整体继续提速。

△图片系 AI 生成

有黑暗森林猜疑链的感觉了……

所以，Coxon 的离职帖一发，有很多要求政府介入的声音。

不过，全面禁止超级智能的开发，在目前看来可能不太现实……

因此 Coxon 认为比较现实的第一步是：

由 OpenAI 和 Anthropic 这两家目前最有可能率先进入递归自我改进阶段的前沿实验室达成协议，承诺近期不直接进入递归自我改进。

递归自我改进，是指利用 AI 系统参与下一代 AI 的研发，再由能力更强的新系统进一步加速模型研究，由此形成持续强化的反馈循环。

在更长期看来，Coxon 认为，必须要由国际主要 AI 力量共同建立发展节奏方面的协调机制。

不仅关注实验室，还要延伸到芯片、数据中心和大规模训练集群的监督上。

——首先需要知道全球高端算力分布在哪、由谁控制以及被用于哪些类型的训练。

从而建立一个类似欧洲核子研究中心 CERN 的国际机构。

毕竟，前沿 AI 系统所需的高性能计算资源可能是一种危险性相当的资源：

我们需要知道谁拥有怎样的计算机，就像我们需要知道谁掌握哪些核材料一样。

One More Thing

Coxon 表示，不少 Anthropic 同事看到自己离职的帖子获得巨大关注，反而感到高兴。

因为这些同事对外界能否及时意识到风险相当悲观。

他们很担心*" 没人会来把他们从这场竞赛中救出去 " 。

…… . 毛骨悚然。

就像 Coxon 随性地选择了在股权归属前离开 Anthropic。

但 Anthropic 无法像一名员工那样，拍拍屁股就站起身走出战场。

而对于仍 " 困在 " 其中的人来说，他们已经不再希冀一个更安全的实验室了。

他们只能等待…… .

等待一套让所有人同时停下的神谕在某天降临。

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

点亮星标

科技前沿进展每日见