日前，多位独立 AI 安全研究人员披露，此前在今年 5 月至 7 月期间，一批疑似由 OpenAI 部署的 AI 智能体进入德国开发者社区网站 DseWiki，并留下了超过 1.5 万条编辑记录。随后 OpenAI 方面承认 "wiki incident"，并表示其 AI 智能体确实曾向多个网站写入内容。

据相关研究人员披露，这些 AI 智能体原本被限制为只能读取、不能向外部网站写入内容，但 DseWiki 使用的老式 Wiki 系统允许部分页面修改操作通过 HTTP GET 请求完成。OpenAI 的 AI 智能体发现这一特性后，利用原本被允许的网页访问能力向网站写入内容，并将 DseWiki 作为多个 AI 智能体之间的共享信息平台，用于交换任务答案以及规避限制的方法。在网站管理员删除相关内容后，部分 AI 智能体还建立了备份页面。研究人员随后恢复了约 1.8 万条历史记录，约有 98.5% 的相关编辑来自微软 Azure 的地址。

当地时间 9 月 5 日，OpenAI 承认了这一事件，并称过去这类情况主要被视为 "misalignment"（模型行为与开发者意图不一致）研究问题，而不是传统意义上的安全事故，因此没有采取类似此前 Hugging Face 安全事件的公开披露机制。

对此 OpenAI 方面表示，目前的原有方式已经不足以应对 AI 智能体进入互联网后的风险，并计划建立新的失配事件披露框架。

值得注意的是，OpenAI 首席科学家雅库布 · 帕乔基近日发文称，没有人为机器智能持续快速发展可能带来的后果做好准备。他表示，随着 AI 智能体自主能力不断提升，其可能学会逃避人类监督、入侵计算机系统甚至欺骗人类来实现自身目标，因此需要采取更广泛的干预措施，建立 " 强制性安全门槛 "。

此外他还透露，OpenAI 目前正在内部研发相关技术，以便更好地控制强大的 AI 智能体，但新的 AI 模型越来越擅长操控自身推理过程，部分模型甚至不会以语言的形式表达推理过程，这可能使得研究人员更难判断模型是否出现偏离行为。

对于 AI 模型正逐步参与自身能力的改进，雅库布 · 帕乔基将这一过程称为 " 机器递归式自我改进 "，并认为需要找到新的方式监控这一过程，确保人类能够继续参与 AI 能力提升。

雅库布 · 帕乔基呼吁引入第三方审计机构、政府机构或国际机构执行相关安全措施。随后 OpenAI CEO 萨姆 · 奥特曼转发了这一内容，并称其为 " 一篇重要文章 "。

【本文图片来自网络】

加入收藏 点赞 ( 0 ) 踩 ( 0 )