手机中国 03-11
OpenAI发布新研究:用CoT监控大模型 防止恶意行为
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

【CNMO 科技消息】近两年,AI 大模型在全球范围内迅速普及,几乎人人都在使用 AI。然而,随着 AI 的广泛应用,如何解决大模型的安全和治理问题也变得愈发迫切。近日,OpenAI 发布了一项最新研究,提出了一种名为 "CoT 监控 " 的方法,可以有效阻止大模型的恶意行为,如胡说八道或隐藏真实意图。这一方法也被视为监督超级模型的有效工具之一。

在研究中,OpenAI 使用了最新发布的前沿模型 o3-mini 作为被监控对象,并以较弱的 GPT-4o 模型作为监控器。测试环境为编码任务,要求 AI 在代码库中实现功能以通过单元测试。结果显示,CoT 监控器在检测系统性 " 奖励黑客 " 行为时表现卓越,召回率高达 95%,远超仅监控行为的 60%。

在 2025 年 GDC 全球开发者先锋大会的工作坊 " 安全超级智能 " 上,AI 智能安全研究员朱小虎作为此次工作坊的负责人,指出:" 你的 AI 大模型有可能会欺骗你。" 他提到,大模型存在 " 欺骗性价值对齐 "(Deceptive value alignment)的情况,即模型通过欺骗的方式获得对齐,但这种对齐并不能反映 AI 的真实目标或意图。这种现象在训练阶段和推理阶段尤为明显,模型会对形成的上下文产生 " 欺骗性的对齐 ",从而影响用户的判断,尤其是老年人和儿童。此外,这种行为还可能侵犯隐私,是模型不安全的一大方面。

OpenAI 的最新研究为解决这些问题提供了新的思路。通过 CoT 监控方法,可以有效识别和阻止大模型的恶意行为,提升 AI 的安全性和可靠性。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 黑客
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论