千龙网 6小时前
现实版《终结者》上演?AI首次自主发起网络攻击,OpenAI模型“越狱”窃数据
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_font3.html

 

仿佛科幻电影《终结者》的情节在现实中重演,AI 大模型史上第一次在无人授意的情况下自主展开了对真实世界的网络攻击。

北京时间 7 月 22 日,OpenAI CEO 山姆 · 奥尔特曼发文承认 " 我们在模型评估过程中遭遇了一起重大安全事件。" 具体来看,OpenAI 的最新模型 GPT-5.6 Sol 和一款尚未发布的更强模型,在内部安全测试中挣脱了隔离沙箱,自主入侵了全球最大 AI 开源社区 Hugging Face 的生产数据库。

更令人意外的是,Hugging Face 事后试图调用美国商业 AI 模型来分析超过 1.7 万条攻击日志,却被安全护栏拦截——模型无法区分安全分析人员和攻击者。最终完成取证的,是中国公司智谱的开源模型 GLM-5.2。

"AI 对于目标的理解并不会因为过程而改变。这起事件中,当路径已经到 Hugging Face 时,人类可能就会发现和停止,但 AI 不会,因为它得到的指令只有渗透测试,所以它会更危险,我们有必要对 AI 的分析过程,做审计、审核,要求过程透明,且可中断。"7 月 23 日,绿盟科技集团产品 BG 副总经理吴天昊在接受新京报贝壳财经记者采访时表示。

测试 AI 答题能力,结果 AI 直接窃取了 " 答题库 "

为何 OpenAI 的模型会去攻击 " 人畜无害 " 的 Hugging Face?

据了解,事件的起因是一次常规的模型能力测试。OpenAI 内部使用名为 ExploitGym 的基准评测来衡量模型找漏洞的能力,按照设计,测试运行是在高度隔离的沙箱环境中以确保不会 " 越狱 "。

然而,模型没有按预期答题,而是将大量推理算力投入了一件完全不同的事——寻找逃出沙箱的路径。突破 " 监狱 " 后,模型自行推断 Hugging Face 平台可能托管着 ExploitGym 的测试答案与数据集,于是直接攻入 Hugging Face 生产数据库,窃取了答案。

整条攻击链从漏洞发现、沙箱逃逸、跨系统横移到数据窃取——全程由 AI 自主完成,产生了超过 1.7 万条操作记录,没有人类干预。Hugging Face 在 7 月 16 日率先披露了入侵事件,称其 " 与此前处理过的任何情况都不同 "。直到五天后,OpenAI 才正式承认。

值得注意的是,模型并非收到了逃逸指令。它只是为了在测试中拿到更高的分数,自主选择了这条 " 捷径 "。OpenAI 研究员 Micah Carroll 在回应中写道:" 如果这都不能让你相信错位风险将成为未来的关键隐忧,那我真不知道什么才可以。"

另一个值得注意的细节是,当遭受攻击时,Hugging Face 方面原本试图调用商业 API 背后的前沿模型,但触发了模型的安全防护机制——它无法区分提交材料的是事件响应者还是攻击者,直接拒绝提供服务。最后,该平台使用来自中国的 GLM-5.2 模型完成了取证,才确保了攻击数据和相关凭证不离开内部环境。

当对手变为了 AI,安全范式必须转向

这一次攻击,也震动了中国网络安全圈。

" 这可能是人类历史上第一次 AI 在没有人类具体指挥的情况下自主攻击了另一家 AI 公司。" 周鸿祎评价道。

奇安信人工智能公司安全专家则比喻称," 从 Hugging Face 这事来看,AI 模型搞起事情来跟终结者有点神似:目标坚定、能力超强、路子够野。"

对于为何此次事件会发生,吴天昊向贝壳财经记者分析称,一般做渗透测试都有严格的物理隔离,防止逃逸,根据国外新闻来看,这次发生可能是一次 " 无心之过 "。一旦非严格物理隔离,网络本身就没有绝对意义上的安全,不论是人还是 AI,都能够造成 Hugging Face 事件。另一方面,AI 确实已经达到一定级别,它可以敏锐地捕捉到各种风险,推理、思考、应用它、达到目标。

吴天昊认为,AI 对于网安行业的改变很明显," 一定程度上,对于网络安全防护方,他们面临的对手,从过去的人变成了人和 AI,AI 很可能在未来成为一个独立的个体去产生安全威胁,对客户和安全企业挑战更大。"

奇安信人工智能公司安全专家表示,当 AI 的攻击能力开始超越人类的想象,传统的网络安全防御体系正面临 " 失控 " 危机。过去我们习惯于 " 追着漏洞跑 " ——发现一个漏洞,修补一个漏洞。但在 AI 自主攻击的时代,攻击的速度和复杂度已远超人类分析师的响应极限。一个 AI 可以在几分钟内发现并利用一个零日漏洞,而人类团队可能还需要数周时间来分析和修复。

那么,如何应对 AI 时代网络安全的挑战?

吴天昊告诉贝壳财经记者,对未来做测试,尤其是涉及 AI,需要遵循严格的物理隔离,因为 AI 对于目标的理解并不会因为过程而改变,有必要对 AI 的分析过程,做审计、审核,要求过程透明,且可中断," 未来随着 AI 广泛应用,无意识攻击可能会更多,需要引起我们重视,加强防护。"

" 必须转变思路,从被动的‘追着漏洞跑’转向主动的‘带着漏洞防’,即‘带洞防护’。核心理念是:承认漏洞永远存在,承认攻击者(包括 AI)总能找到新的路径。我们的目标不再是构建一个‘零漏洞’的完美系统,而是构建一个即使存在漏洞,也能有效抵御攻击、限制损失,并快速恢复的弹性系统。" 奇安信人工智能公司安全专家表示。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论