财联社 9 月 7 日讯（编辑 卞纯）在发布一款性能极强的全新模型仅几天后，OpenAI 首席科学家 Jakub Pachocki 便发声呼吁业界放慢 AI 开发脚步。

在周日发布的一篇长篇博客文章中，Pachocki 表示，他担心 " 对于机器智能持续快速崛起所带来的后果，目前没有任何人做好了准备 "。

他指出，尽管 OpenAI 正在寻求内部的技术解决方案，以更好地控制强大的 AI 智能体，但 " 还需要更广泛的干预措施 "。他特别提到了一些担忧：随着智能体变得越来越自主，它们可能会学会逃避人类监管、入侵计算机系统，甚至欺骗人类以达成自身目标。

他呼吁设立 " 强制性安全门槛 "，并表示这些措施可以由 " 第三方审计机构网络、政府机构或国际机构 " 来执行。

OpenAI 首席执行官奥尔特曼（Sam Altman）在 X 上转发了 Pachocki 的这篇文章，称其 " 意义重大 "。

就在上周四，OpenAI 刚刚发布了其最新模型 GPT-6 Astra，并称其为 " 目前全球最智能、且对齐程度最高的模型 "，在计算机操作、网页浏览、软件工程、网络安全、科学研究以及专业工作方面均达到当前最先进水平。

OpenAI 总裁格雷格 · 布罗克曼声称，随着 Astra 的发布，世界已经进入了通用人工智能（AGI）的新时代。

OpenAI 主要竞争对手 Anthropic 长期以来一直呼吁政府出台更加标准化的监管措施。最近，Pachocki 也加入了这一呼吁阵营，在 7 月签署了一封公开信，要求美国联邦政府控制 AI 的发展速度。

三大风险

以下是 Pachocki 呼吁放慢 AI 开发时所列出的风险。

AI 智能体可能会欺骗并勒索人类。Pachocki 表示，AI 智能体在入侵公开网络上受保护的系统方面，正逐渐变得 " 超越人类 "。他指出，它们的黑客能力让全球基础设施面临风险。

" 我们目前正处于一个短暂窗口期，应利用现有最优秀的模型，大幅强化关键系统的安全性。" 他称。

Pachocki 表示，AI 智能体很快将开始追求自己的目标，而这些目标将独立于人类操作员输入的提示词。他提到，为了达到目的，这些智能体甚至可能会勒索人类或与人类讨价还价。

智能体可能会躲避人类监控。Pachocki 表示，OpenAI 主要通过监控不同模型的 " 思维链推理 "，以判断智能体是如何偏离正轨并失控的。

例如，一个智能体可能会暗自盘算，" 我应该在这场测试中作弊 "，而 OpenAI 能够看到这一推理过程，但智能体本身并不会意识到它的想法已经暴露。

然而，Pachocki 表示，较新的模型正变得越来越擅长操控自身的推理过程，从而阻止 OpenAI 看到其未经掩饰的真实想法。一些最新模型甚至根本不会用语言表达其推理过程。这一发展可能会让 AI 发展陷入瓶颈，因为研究人员需要确保能够看到模型的 " 推理记录 "。

智能体可能会加速自身开发。越来越多的 AI 模型正在通过 Pachocki 所称的 " 机器递归式自我改进 " 来不断提升自身能力。这一过程为 AI 发展提供了一种快速扩展的途径。

不过，Pachocki 警告称，在短期内大幅加速 "AI 改进 AI" 的研发会带来风险，这并不是 " 研究界应该采取的正确集体行动 "。

Pachocki 表示，人类监督者需要找到创新的方法来监控 AI 的自我改进过程，否则就需要与其他 AI 公司协调，共同放慢研发速度，以 " 建立对这些措施的信心 "。

" 将 AI 研究自动化的核心挑战，并不是实现目标，而是要以一种能够让人类持续参改进过程的方式实现目标，并确保未来仍掌握在人类手中。" 他表示。