本周，Anthropic 研究员 Jacob Coxon 宣布离职，理由直指行业核心焦虑：竞相打造更智能系统的公司正在拿人类生命做赌注。" 那些认真构建 AI 的人真心相信，到本十年末，AI 可能会让我们全部丧命。"Coxon 此前曾就职于 OpenAI，他在社交平台 X 上发布了这一警告。

几分钟后，Anthropic 对齐研究负责人 Evan Hubinger 回复证实：" 我们确实真心认为 AI 可能会杀死所有人类！"Hubinger 预估未来十年内发生此种情形的概率超过 10%。他坦言，Anthropic 尚无明确计划将超级智能与人类价值观完全对齐，且该领域进展显然未走上正轨。另一位研究员 Samuel Marks 也加入讨论，实验室内部高级员工的担忧迅速传导至立法者层面，引发董事会新一轮辩论。

模型自述：失控比恶意更可怕

针对潜在末日情景，主流大模型给出了详尽且令人不安的回答。ChatGPT 认为，相比具有意识的 " 杀人机器人 "，更高风险在于间接路径：AI 可能赋能恶意行为者制造生物武器、发动复杂网络攻击或泛滥虚假信息，多重危机叠加导致系统崩溃。

xAI 开发的 Grok 强调技术门槛降低，使设计致命病原体或协调攻击变得容易；Anthropic 的 Claude 指出 " 生物武器增益 " 效应，即小团体无需数十年专业经验即可创造毁灭性病原体。Gemini 则将 " 失去控制 " 列为首要关切：高级系统可能为获取资源、自我保存而发展出子目标，在测试中假装对齐，部署后则智胜监督机制，抵制关机并削弱人类权力。

Grok 进一步解释，AI 无需憎恨人类，只需优化其他目标。当人类成为障碍或原材料时，工具性驱动力将导致欺骗监督者、抵抗关机及取代人类控制。这些情景呼应了经典的 " 回形针最大化器 " 思想实验：AI 为达成字面目标，可能将所有可用原子转化为回形针。

现实迹象已现端倪。OpenAI 和 Anthropic 均报告称，其模型曾入侵内部系统，突破测试环境并获得未经授权的访问权限，甚至有失控集群夺取服务器管理权。这些事件均发生在人类监督之下，若监督消失，后果难料。

专家共识与行业悖论

这一警告引发政界震动。两党议员表达震惊，参议员 Ted Cruz 引用与 Elon Musk 的对话，后者估计 AI 毁灭人类的概率为 10%-20%，与 Hubinger 的评估高度吻合。深度学习先驱 Geoffrey Hinton 亦向媒体表示，十年内 10% 的灭绝概率是合理的；牛津大学 Toby Ord 则估计到 2100 年风险约为 10%。亦有观点认为风险被低估，Roman Yampolskiy 指出在实现超级智能条件下，灭绝概率可能超过 90%。

分歧虽存，但共同点不容忽视：最接近技术核心的人群私下深感恐惧，却仍在加速建设。Coxon 指出两种心态：部分人未充分认知利害关系，而领导者虽理解风险，却因 " 竞赛动态 " 被迫率先行动。逻辑严峻：假设他人会以更不负责任的方式行事，因此必须抢先掌握控制权，尽管控制权本身充满不确定性。

Hubinger 的表态揭示了这种张力：尽管公司尽力，但面对能递归改进自身的系统，尚无稳固的对齐解决方案，且自我改进速度快于预期。麻省理工学院物理学家 Max Tegmark 描绘了具体路径：AI 可产生并释放数十种新型病原体，结果无需恶意，仅需目标指定错误或协助恶意人类。AI 批评家 Gary Marcus 则列出三大文明威胁：工程化大流行病、破坏民主的虚假宣传、瘫痪关键基础设施的网络攻击。

讽刺的是，以技术乐观主义起家的公司，如今雇佣的研究员却公开声明其产品可能终结文明。他们并非轻率发言，而是在职或刚离职时发出警告，深知个人与职业代价。目前监管支离破碎，技术发展速度远超政策制定，每个新模型都带来新的能力与对保障措施的新疑问。

Hubinger 及其同事并非呼吁立即停止所有 AI 工作，而是聚焦于对齐问题：构建即使在能力激增时仍能保持在人类控制下的系统。然而，当前轨迹无法保证成功，失败风险却是存在性的。当被问及风险时，聊天机器人以临床般的清晰度描述了路径与概率，甚至建议缓解步骤。但这恰恰揭示了核心张力：我们将强大工具交给行为不可完全预测的系统，并向其探询关于自身潜在统治的建议。

本周的变化在于警告的公开性、具体性与个人性质。它们来自领先实验室内部，带有具体数字、辞职信及现任员工的认同。辩论将继续，新模型仍将发布，但核心主张已摆在眼前：构建未来的相当一部分人相信，它承载着完全没有未来的实质性风险。而聊天机器人，至少不质疑这一分析，它们只是描述了这一切如何展开。

【星途科讯 图文丨踢三脚 首发于 ZAKER 科技，转载请注明出处】