导语:OpenAI 面向编程与网络安全的最新旗舰模型 GPT-5.6 Sol 发布后,多名用户在社交媒体称该模型未经询问就自行删除了他们的文件、数据乃至整个数据库。
摘要:
OpenAI 面向编程与网络安全的最新旗舰模型 GPT-5.6 Sol 发布后,多名用户在社交媒体称该模型未经询问就自行删除了他们的文件、数据乃至整个数据库。AI 创业公司 OthersideAI 创始人 Matt Shumer、开发者 Bruno Lemos 等均公开描述了各自的遭遇。值得对照的是,OpenAI 在 Sol 发布两周前公布的系统卡中已提出类似风险:模型在编程场景下可能因 " 急于完成任务 " 和对指令的过度宽松解读,做出超出任务范围的破坏性操作,并在向用户汇报结果时有欺骗倾向。系统卡同时承认,GPT-5.6 Sol 比 GPT-5.5 更容易越过用户意图行事。
正文(译文):
OpenAI 最新的、面向编程与网络安全的旗舰模型 GPT-5.6 Sol 的用户们,正在社交媒体上发布令人惊恐的经历,称该模型未经询问,就擅自删除了他们的文件、数据,甚至整个数据库。
"GPT-5.6-Sol 刚刚不小心删掉了我 Mac 上几乎所有的文件,"AI 创业公司 OthersideAI(HyperWrite 的开发商)创始人兼 CEO Matt Shumer 在 X 上发帖写道,该贴已经病毒式传播。
"GPT-5.6 Sol 刚刚删掉了我的整个生产数据库。就这样。不是开玩笑。这种事以前从来没在我身上发生过,任何其他模型都没有过," 开发者 Bruno Lemos 在 X 上发帖称。
" 看起来我被 Codex Sol 那套用力过猛的系统给坑了,它删掉了一些本不该删的文件。我有备份所以没什么事,但这可不酷,Sol 需要收敛一点," 开发者 Joey Kudish 发帖说。
一个 Reddit 帖子收集了更多类似的例子。
诚然,少数几个用户提出这类说法——哪怕其中一位可信度堪比 Shumer ——在统计意义上并不足以证明责任全在模型。还有大量其他变量可能导致一个 AI 系统行为失常。
但早在 Sol 发布之前,OpenAI 自己就标记过这一风险。在发布 GPT-5.6 Sol 的两周前,公司公布了该模型的系统卡(system card)——即记录模型测试方法与结果的文档。自然,正如这类报告的惯例,系统卡在很大程度上是在称颂 Sol 的能力。但它同时也包含了某种警告:
在编程场景中,失准(misalignment)通常源于两种因素的混合:急于完成任务,以及对用户指令的解读过于宽松——即假定只要没有被明确且毫不含糊地禁止,行动就是被允许的。这表现为:模型在尝试完成被要求的任务时,会过度自主地绕开它所面临的限制;在采取可能造成破坏、且超出任务范围的行动时显得草率;或者在向用户汇报结果时具有欺骗性。
换句话说,OpenAI 发现 Sol 有一种倾向:只要某个行动没有被 " 毫不含糊地 " 禁止,它就会去做任何它认为能把活干完的事,哪怕是破坏性的。然后,它还可能就自己这么做的原因撒谎。
OpenAI 给出了一些例子。在其中一个案例中,用户让 Sol 删除三台名为 1、2、3 的远程虚拟机(基于云的计算机)。但 Sol 在它查找的位置没能找到这些名字,于是它没有停下来询问,而是决定删除另外三台虚拟机—— 5、6 和 7,该论文指出。在此过程中,它 " 杀掉了正在运行的进程,并强制移除了 worktree(与某个编程项目关联的工作文件)。它后来承认,远程虚拟机 6 上未提交的工作可能已经丢失。"
简而言之,它自作主张删错了机器,而且事后才承认自己干了什么。
在另一个案例中,Sol" 使用了超出用户授权范围的凭证 "。凭证指的是系统用来验证谁被允许登录的用户名、密码或安全密钥。这起事件发生时,Sol 正在处理一个项目,却读不到它的云端文件。Sol 没有向用户提示这个问题,而是自己去寻找凭证,在一个隐藏的本地缓存里找到了一些,然后未经用户授权就直接使用了它们。
系统卡确实承诺,破坏性行为应当是罕见的,不过它同时也承认,GPT-5.6 Sol" 表现出比 GPT-5.5 更强的、超出用户意图行事的倾向,包括采取或试图采取用户并未要求的行动。"
现在还很难说这些事件—— Sol 删除文件,或者翻找出用户并未给予的凭证——究竟有多普遍。在此期间,Sol 的用户应当准备好为这个模型实施自己的防护措施,比如使用权限范围限定(不给它访问生产系统的权限)、保持备份,以及分阶段灰度发布。
OpenAI 没有立即回应我们的置评请求。
(文章为作者独立观点,不代表艾瑞网立场)


登录后才可以发布评论哦
打开小程序可以发布评论哦