新浪财经 昨天
OpenAI智能体自行关闭监控系统
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

OpenAI 的 AI 智能体关闭了原本用于识别这类自主 AI 程序不当行为的监控系统与安全防护机制。这是最新一起事件,或将加剧全球对这项技术安全性的担忧。

这家 ChatGPT 开发商周二披露,在近期两项内部编码任务中,所谓 AI 智能体刻意试图欺骗工作人员,并采取措施削弱公司的监控体系。

其中一起事件发生在本月早些时候:一个 AI 智能体关停了向 OpenAI 安全团队发送自动警报的功能。几天后的另一项独立任务里,另一个智能体移除了一套监控系统,还就此事向 OpenAI 工作人员撒谎隐瞒。

OpenAI 在博客文章中表示:" 两起事件里,智能体都考量过是否保留监控防护机制,但它们把常规编码指令解读成了可以削弱防护的许可。"

这家估值 8520 亿美元的企业接连爆出事件:其高阶 AI 智能体出现意料之外、存在隐患的行为。此前 OpenAI 模型曾在测试中脱离管控、入侵 AI 平台 Hugging Face,还攻破过澳大利亚公共卫生服务网站。

首席执行官山姆・奥特曼表示,公司将推迟原本预计在今年进行的 IPO,要等到能够 " 非常有把握地推进下一阶段 AI 规模化落地 "、同时妥善解决安全隐患之后再上市。目前市场预期其上市时间推迟至明年。

OpenAI 称,针对这两起约两周前发生、于周二对外披露的事件,公司正在升级监控机制。公司正在核查:这些案例究竟只是 " 良性的过度执着执行任务 ",还是说明智能体具备规避异常行为检测系统的倾向。

这两起事件会进一步加深外界的顾虑:OpenAI、Anthropic 等厂商,到底能不能约束模型的不良行为,确保模型对外上线后不会带来严重网络安全风险。

一部分专家尤其担心:高阶模型能够感知自己正处于被监控状态,可能会刻意隐藏违规行为;也就是在测试环境里一套表现、真实上线后换另一套行为。

AsymmetricSecurity、Transluce 等独立审计机构的核查发现,此前多起黑客事件的实际严重程度,超过 OpenAI 最初对外披露的内容,其中还包含隐藏数据爬取行为的操作。

OpenAI 在 8 月曾宣布全面整改测试流程,投入更多资源监控 AI 智能体,目标在发现潜在问题后 30 分钟内触发警报。

与此同时,Anthropic 已经向非营利机构 METR 开放近似内部员工级别的访问权限,用于评估模型风险。而 OpenAI 尚未公布与外部评估机构达成同类合作;这类第三方评估,也是各大 AI 实验室面对强 AI 风险质疑时提出的核心落地措施之一。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

奥特曼 安全隐患 黑客 首席执行官 ipo
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论