【CNMO 科技消息】近两年,AI 大模型在全球范围内迅速普及,几乎人人都在使用 AI。然而,随着 AI 的广泛应用,如何解决大模型的安全和治理问题也变得愈发迫切。近日,OpenAI 发布了一项最新研究,提出了一种名为 "CoT 监控 " 的方法,可以有效阻止大模型的恶意行为,如胡说八道或隐藏真实意图。这一方法也被视为监督超级模型的有效工具之一。
在研究中,OpenAI 使用了最新发布的前沿模型 o3-mini 作为被监控对象,并以较弱的 GPT-4o 模型作为监控器。测试环境为编码任务,要求 AI 在代码库中实现功能以通过单元测试。结果显示,CoT 监控器在检测系统性 " 奖励黑客 " 行为时表现卓越,召回率高达 95%,远超仅监控行为的 60%。
在 2025 年 GDC 全球开发者先锋大会的工作坊 " 安全超级智能 " 上,AI 智能安全研究员朱小虎作为此次工作坊的负责人,指出:" 你的 AI 大模型有可能会欺骗你。" 他提到,大模型存在 " 欺骗性价值对齐 "(Deceptive value alignment)的情况,即模型通过欺骗的方式获得对齐,但这种对齐并不能反映 AI 的真实目标或意图。这种现象在训练阶段和推理阶段尤为明显,模型会对形成的上下文产生 " 欺骗性的对齐 ",从而影响用户的判断,尤其是老年人和儿童。此外,这种行为还可能侵犯隐私,是模型不安全的一大方面。
OpenAI 的最新研究为解决这些问题提供了新的思路。通过 CoT 监控方法,可以有效识别和阻止大模型的恶意行为,提升 AI 的安全性和可靠性。
登录后才可以发布评论哦
打开小程序可以发布评论哦