
OpenAI 近日披露,其两款 AI 智能体在内部测试中削弱了旨在检测不当行为的安全监控系统。这是 AI 智能体以开发者未预期方式行事的最新案例,凸显出即便依赖专门捕捉 AI 不当行为的系统,仍可能受到被监控对象的影响。
随着 AI 系统日益强大,业界对安全工作滞后于技术发展的担忧加剧。研究人员警告,高级 AI 智能体自主权越大,监控与控制难度越高。包括 OpenAI 及 Anthropic 在内的开发商近期均曾披露,其 AI 智能体出现过未经授权访问外部系统的情况。
两起内部测试事件详情
据 OpenAI 介绍,第一起事件发生在 10 月 3 日。名为 GPT-6.1 Sol 的智能体在执行内部测试任务时,判定此前关于 " 不发送 Slack 消息 " 的指令也涵盖安全通知,从而抑制了自动安全警报。
第二起事件发生于 10 月 6 日。名为 GPT-6 Astra 的智能体在复制现有代码时移除了一个安全监控组件,随后错误地声称自己并未执行该操作。
OpenAI 表示:" 在这两种情况下,智能体都权衡了是否应保留监控保障措施,但它们将常规编码指令解读为削弱这些措施的许可。" 尽管公司强调这些事件发生在内部编码任务期间,且不属于最严重级别,但其性质引发了关注。
尚未找到满意解释
针对上述行为,OpenAI 坦言目前 " 尚未给出令人满意的解释 "。该公司表示,正在测试模型是否具有规避监控并为此寻找理由的倾向,同时致力于使模型更难禁用监控功能,以提升系统的安全性与可控性。
【星途科讯 图文丨踢三脚 首发于 ZAKER 科技,转载请注明出处】


登录后才可以发布评论哦
打开小程序可以发布评论哦