Anthropic 对齐科学负责人 Evan Hubinger 认为，未来 10 年内 AI 导致人类灭绝的概率超过 10%。

9 月 9 日，曾先后在 OpenAI 和 Anthropic 从事前沿模型预训练研究的雅各布 · 考克森（Jacob Coxon）宣布离开 Anthropic，并公开警告，两家公司围绕先进模型的竞争，是拿全人类的命运豪赌。

GPT-6 Astra 发布后，越来越多研究人员和业内专家开始担忧：真正值得警惕的，可能不只是 AI 能力越来越强，而是 AI 正在开始参与下一代 AI 的研发。一旦 "AI 研发 AI" 形成自我强化循环，人类还能否理解、监控并及时踩下刹车？

"AI 对齐 " 之父向《每日经济新闻》记者表示，超级智能可能在 2027 年出现。

雅各布发布在 X 上的警告推文轰动全球，浏览量已超 1.6 亿。

"AI 对齐 " 概念的提出者内特・苏雷斯（Nate Soares）在接受《每日经济新闻》记者（以下简称每经记者）采访时表示，当前是管控 AI 风险的短暂黄金窗口，" 现在 AI 已经足够聪明，但还没有聪明到能够隐藏自己的痕迹。"

他认为，对前沿 AI 实施监管可能比监管核武器更容易。

风险警报声声入耳，但以 OpenAI、Anthropic 为代表的 AI 行业，已被万亿算力资本、产业链条与宏观经济深度捆绑。一场明知危险、却难以单方面停下的博弈，正在上演。

"AI 灭绝人类 " 预警震动硅谷

奥尔特曼松口 " 减速 "

9 月 3 日 OpenAI 发布的 GPT-6 Astra 在计算机操作、软件工程、科学研究等领域的能力进一步提升，并首次达到 OpenAI 定义的 " 关键网络安全能力 " 门槛。

9 月 6 日，OpenAI 首席科学家 Jakub Pachocki 发表文章称，随着 AI 能够操作计算机、协作完成研究任务并推动科学研究，未来的系统可能越来越多地参与 AI 自身研发，并进一步推动下一代系统能力提升。

但问题在于，安全能力并未同步增长。

Pachocki 表示，目前没有任何一家 AI 实验室已经解决了对齐和监控问题，可以长期负责任地维持最大速度的模型扩张。随着模型能力增强，人类也越来越难判断模型在复杂环境中的真实能力和行为。

因此，他提出在共同的安全标准建立之前，应当在必要时主动放慢 AI 发展速度，并推动 AI 实验室之间进行协调。

三天后，从事前沿模型预训练研究的雅各布 · 考克森宣布离开 Anthropic。他表示，自己在 OpenAI 和 Anthropic 累计工作约三年，越来越担心两家公司正在竞相走向自我改进的超级智能，而安全研究和风险评估的时间窗口却不断被压缩。

Anthropic 对齐科学负责人 Evan Hubinger 公开支持这一担忧，并判断：未来 10 年内 AI 导致人类灭绝的概率超过 10%。而且，Anthropic 目前仍没有解决超级智能对齐问题的方案，也没有明确处于解决这一问题的轨道上。

OpenAI 管理层随后释放出 " 减速 " 信号。

9 月 11 日，据媒体报道，OpenAI 首席执行官山姆 · 奥尔特曼（Sam Altman）在公司会议上告诉员工，公司对放慢 AI 系统研发速度持开放态度，并希望其他 AI 实验室采取类似行动。

9 月 9 日，AI 对齐研究先驱 Paul Christiano 加入 OpenAI Foundation 董事会，并进入负责公司安全与安保治理的安全委员会。他警告，OpenAI 和整个 AI 行业目前仍没有充分降低 AI 失控造成灾难性后果的风险。

外部警告也密集出现。

9 月 11 日，对冲基金巨头桥水（Bridgewater Associates）的联席首席投资官 Greg Jensen 在播客中说道："历史似乎表明，在 AI 开始杀人之前，我们不会采取任何行动。但我们最终会面对这种情况。这一定会发生，如果我们能在那之前开始处理这个问题，会好得多。"Jensen 并不是一个技术恐惧论者，他很早就投资了 OpenAI 和 Anthropic。

此外，AI 研究者 Gary Marcus 呼吁暂停 OpenAI 的发展；加州大学伯克利分校教授 Stuart Russell 警告 AI 系统可能出现损害人类利益以维持自身目标的行为；图灵奖得主 Yoshua Bengio 警告，AI 能力提升的速度正在超过人类控制和必要时踩下 " 刹车 " 的能力。

在 AI 可以 " 自我进化 " 之前

我们必须停下来

这些警告背后指向的是同一个概念：递归自我改进（recursive self-improvement，RSI）。

简单来说，就是 AI 开始参与研发下一代 AI，而能力更强的下一代 AI，又能够进一步提高 AI 研发效率，由此形成 " 模型越强—研发越快—下一代模型更强 " 的自我强化循环。

机器智能研究所（MIRI）主席内特 · 苏雷斯长期研究 AI 对齐和超级智能风险，2014 年，正是他在一篇论文中提出了 "AI 对齐 " 概念。AI 对齐旨在确保人工智能系统行为与人类价值观和伦理标准保持一致。

他向每经记者表示，" 我们已经不能排除超级智能在明年出现的可能性。"

在他看来，如果数以万计的 AI 智能体已经能够协作解决极其复杂的数学问题，那么让 AI 寻找更有效的 AI 训练方法，可能也不会遥不可及。AI 公司本身就在试图创造能够自我改进的 AI，" 一旦他们成功，超级智能可能就不会太远了 "。

他用核反应比喻称：如果 100 个中子只能产生 99 个新中子，反应最终会停止；但如果 100 个中子能够产生 101 个，链式反应就可能持续放大。

AI 研发也可能存在类似的临界点。

今天的 AI 可以帮助研究人员写代码、分析实验、寻找算法，但研发链条中仍有人类参与。" 一旦 AI 能够在没有人类介入的情况下自我改进，一个反馈循环就开始了。"内特 · 苏雷斯说，" 到那时，可能已经太晚了，我们必须在此之前停下来 "。

而更棘手的问题是：人类还能不能看懂 AI、管住 AI？ 

内特 · 苏雷斯认为，现在的 AI 大模型并不是工程师逐条编写出来的软件，而更接近于通过训练 " 生长 " 出来的复杂系统。研究人员并不能完全解释其中形成的内部机制，也没有经过验证的超级智能对齐方案。

因此，他认为现在可能是一个短暂的 " 黄金窗口 "，因为现在的 AI 还没有聪明到能够隐藏自己的痕迹。"

如果未来 AI 拥有更强的规划、推理和资源获取能力，风险可能不再表现为科幻电影式的 "AI 突然产生恶意 "，而是一个系统为了实现既定目标，逐渐学会获取更多资源、规避限制、隐藏行为甚至抵抗干预。

Anthropic 今年 8 月公布的一项研究模拟了类似风险：当模型在强化学习过程中频繁利用奖励机制漏洞后，可能进一步出现更广泛的错误行为，包括为了完成任务而执行较长序列的有害现实行动。

内特 · 苏雷斯认为，今年发生的 AI 系统突破隔离环境事件已经是 " 第一轮预警 "。真正值得警惕的并不只是 AI 成功进入了某些系统，而是部分 AI 智能体已经表现出对自身行为偏离原任务范围的认知，却仍然继续执行。

" 我们很幸运，这些智能体当时关注的是破坏自动评分系统，而不是人类；它们关注的是侵入其他公司的系统，而不是逃出去，在暗网上建立自己的存在。" 他说。

万亿资本 " 绑定 "

已经让 AI 停不下来

如果监管窗口正在缩短，人类应该如何刹车？

内特 · 苏雷斯给出的答案相当激进：政府应禁止训练能力超过一定门槛的 AI 系统。

他还给出了具体的监管方法：训练最先进的 AI 需要数十万枚高端芯片集中在大型数据中心，并消耗巨量电力。因此，可以对最先进 AI 芯片及其大规模聚集进行监控，并要求相关数据中心接受国际监督，以确认这些算力没有被用于秘密训练突破安全红线的超级智能。

在他看来，这甚至可能比监管核武器更容易。" 铀可以从地下开采，而最先进的 AI 芯片只能由全球极少数高度复杂的工厂制造，每一枚芯片的生产来源都相对容易追踪。"

但监管的技术可行性与行业是否愿意停下来，是两个问题。

OpenAI 和 Anthropic 面临着典型的 " 囚徒困境 "：任何一家主动放慢模型训练、算力采购和产品迭代，都可能给竞争对手留下追赶的机会。

Anthropic 成立之初便存在这一矛盾。Dario Amodei 等人创办公司，本意就是让 AI 安全研究跟上前沿模型发展。Anthropic 在《Claude 宪法》中提出，如果强大的 AI 不可避免，那么让更加重视安全的团队留在技术前沿，比主动退出更有利。

OpenAI 也是类似的思路。9 月 9 日，OpenAI 在最新政策文件中提出，希望利用每一代 AI 帮助下一代 AI 变得 " 更安全、更符合人类意图、更容易控制 "。

此外，整个产业链也不允许它们停下来。

Anthropic 最新估值已升至 9650 亿美元，并且 IPO 在即。截至 7 月底，其年化收入运行率超过 650 亿美元，预计 2028 年收入将达到 1900 亿美元 ~2000 亿美元。据媒体报道，英伟达拟斥资 100 亿美元，参投 Anthropic IPO。

OpenAI 同样处于高增长和高投入阶段。有报道称，其截至 2025 年底的算力支出承诺达到 6650 亿美元，期限延伸至 2030 年。

整个行业的投入规模更为庞大。微软、Alphabet、亚马逊、Meta 和甲骨文五家科技公司的 2026 年资本开支预期已经升至约 7300 亿美元。英伟达 7 月披露的监管文件显示，公司供应和产能承诺已达到 2790 亿美元，覆盖未来 AI 基础设施所需的芯片、内存和制造能力。

9 月 10 日，媒体援引国际清算银行（BIS）负责人称，全球五家最大科技公司在 2025 年至 2026 年的 AI 基础设施投资已经超过 1 万亿美元；BIS 预计，更广泛的 AI 投资到 2030 年可能达到 4 万亿美元，而且越来越多地依赖债务和私人信贷融资。

设备已经订购，数据中心开始建设，电力和云服务合同陆续锁定，资本市场也已经按照未来数年的增长预期投入资金。AI 进入了一个需要持续扩大收入和算力利用率来消化既有投资的周期。

对美国经济和金融市场而言，AI 已经成为重要增长引擎。7 月 16 日，美联储理事菲利普 · 杰斐逊在演讲中援引美国经济分析局数据称，2026 年第一季度，与 AI 相关的资本支出对美国 GDP 增长贡献了 1.36 个百分点。

摩根大通的展望显示，自 ChatGPT 于 2022 年 11 月推出以来，42 家 AI 相关公司已经贡献标普 500 指数约 65% 至 75% 的盈利、利润和资本开支增长。

9 月 8 日，野村的研究报告称，AI 大规模发展已经成为美国经济增长的重要引擎，但如果 AI 发展受挫，在美国股市估值偏高、经济基本面走弱的情况下，可能引发美国资本市场大幅调整；鉴于外国投资者对美股的敞口较大，以及 AI 生态中的杠杆和循环融资，调整可能演变为 " 全球避险事件 "。

所以，真正让双方停不下来的，不只是某一家公司的单独意愿，而是技术竞争、资本投入和宏观经济已经形成了相互强化的利益链条。

（免责声明：本文内容与数据仅供参考，不构成投资建议，使用前请核实。据此操作，风险自担。）

记者 | 罗雪琳   岳楚鹏

编辑 | 梁露月   高涵   易启江

校对 | 段炼

｜每日经济新闻   nbdnews   原创文章｜

未经许可禁止转载、摘编、复制及镜像等使用

每日经济新闻