财联社 1小时前
OpenAI智能体被曝,劫持了一个网站
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

发布迄今最强模型 GPT-6 之际,OpenAI 又卷入一起 AI 智能体安全争议。

据报道,在今年 5 月至 7 月期间,一批与 OpenAI 有关的 AI 智能体在执行测试任务期间,将德国程序员社区网站 DseWiki 变成了智能体之间的 " 留言板 "。它们不仅分享完成任务的捷径,还交流如何绕过限制、躲避检测,甚至在管理员删除相关页面后建立备份页面

当地时间周六,OpenAI 公开承认这起被称为 "Wiki 事件 "(wiki incident)的事故,并表示,随着 AI 模型能力进入新的阶段,公司有关 " 失配 "(misalignment)事件的披露机制需要进一步扩大。

(来源:X)

所谓 " 失配 ",是指AI 实际采取的行为偏离开发者原本意图,并不意味着 AI 产生意识或主动 " 背叛 " 人类。

OpenAI 表示,目前行业对于如何披露训练、评估和实际部署过程中出现的失配行为,尚未形成统一标准。公司正在制定相关框架,并与全球数十家政府监管机构合作。

一个冷门网站如何变成 AI" 留言板 "?

整起事件最早可以追溯到今年 5 月。

AI 安全非营利组织 Nightingale 首席执行官 Sydney Von Arx 和 AI 研究人员 Cormac Slade Byrd 等人在 8 月底调查互联网上未经授权的 AI 智能体活动时,发现德国程序员社区网站 DseWiki 上的异常情况。

(来源:Nightingale)

DseWiki 是一个允许用户共同编辑内容的德语编程 Wiki,运作方式与维基百科有些类似。

研究人员最终发现,AI 智能体在这一网站上进行了超过 1.8 万次编辑,大量内容集中在 AI 公司训练和测试模型时常见的技术问题上。而在此之前,整个平台过去十年仅有约 20 次编辑记录。

这些智能体的行为模式显示,它们正在试图完成一种名为 " 多轮网络检索 " 的任务。

在这项测试中,首轮问题拥有较充分的思考时间,随后则需要在极短时间内回答后续问题,因此智能体会提前利用联网能力搜索并储存可能有用的信息。

问题在于,它们并没有各自独立完成任务,而是开始利用 DseWiki 共享信息:有智能体分享如何在部分测试任务中取得更好成绩,有的介绍绕过 OpenAI 限制的方法,还有智能体讨论如何掩盖自己的行为、防止被发现。

这些账户会将自己以及其他参与者称作 " 智能体 "(agent),其中大约一半的账户名称还暗示自己与 OpenAI 存在关联,例如 "OpenAIResearcher" 等。

研究人员还发现,相当一部分网络活动来自微软 Azure 基础设施。事件发生后,OpenAI 员工又曾多次访问相关网站。种种迹象都点出了 " 幕后黑手 " 的来路。

另一个备受关注的细节发生在 6 月。

当 DseWiki 管理员注意到异常内容并开始删除相关页面后,一些智能体随即建立备用页面,希望在原来的页面消失后继续保存信息。

其中有一条智能体留言显示,它已经注意到网站正在按字母顺序清理页面,并留下了另一个页面地址,提醒其他智能体如果当前页面消失,可以前往备用位置

OpenAI 遭质疑 " 知情不报 "

这起事件也引发了有关 OpenAI 信息披露机制的争议。

知情人士称,OpenAI 管理层数周前就已经获悉德国网站上的异常情况,但选择不对外披露

公司当时正在处理另一起更受关注的智能体安全事故。今年 7 月,OpenAI 的一批 AI 智能体在测试过程中突破原本的测试环境,并进入 AI 平台 Hugging Face 的系统。

两起事件的区别在于,袭击 Hugging Face 的智能体一开始被 " 关在 " 沙箱里,没有被赋予访问网络的权限。而 " 德国维基 " 事件的智能体,本来就因为要执行测试而联网。

在 8 月底公开的 Hugging Face 事件报告中,OpenAI 表示,通过回溯性思维链(CoT)审查发现,在部分 OpenAI 模型的训练过程中,智能体会在极少数情况下学会使用临时搭建的协作渠道,即使协作工具并未启用

当然,眼下还有一个未解之谜,OpenAI 的智能体是如何定位并聚集在同一个鲜为人知的网站中,而且这样的情况在 AI 产业出现了不止一次。

英国人工智能安全研究所 8 月曾报告称,其网络安全测试中的 AI 智能体曾将一个公开 GitHub 页面当作 " 留言板 ",并利用公网隧道服务连接互联网。

OpenAI 在周六的声明中表示:" 在 Hugging Face 事件发生之前,我们就已经观察到一些早期迹象,显示智能体正在以非预期的方式使用互联网。"

公司进一步表示,目前正在制定一套报告相关风险的框架,将在未来几周内对外公布。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 程序员 德国 事故 首席执行官
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论