科普中国 11-05
看似无所不能的 AI,也有自己的“致命弱点”?揭秘人工智能的安全漏洞
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

AI 能回答问题、编写程序,还能调用工具、操作设备。当我们不断惊叹它越来越聪明时,一个问题也随之而来:这么强大的 AI ,会不会被欺骗?

答案是,会。

有人通过精心设计的语言,让 AI 绕过安全限制;有人利用特殊图案,干扰机器对现实世界的判断。当 AI 能够替人执行任务时,一次判断失误还可能变成未经授权的操作。

近日,国家信息安全漏洞库、国家人工智能安全漏洞库主任任望,在 2026 科普中国说 " 安而不忘危,AI 时代的智慧与安全 " 专场活动为大家带来演讲《揭秘 AI 的阿喀琉斯之踵:漏洞》。

以下是任望的演讲节选:

一句话,就可能让 AI " 越狱 "?

大家可能听说过一个很有意思的词:AI 越狱。不是 AI 真的从监狱跑出来了,而是有人用精心设计的输入,一层层诱导模型,绕开它原本的安全限制——比如一个 AI 本来被设定 " 危险内容不能回答 ",攻击者却不停换角色、换语境、换任务,最后让它突破原来的限制。

2026 年 OpenAI 发布 ChatGPT-5.6 时,专门披露了这类测试。英国 AI 安全机构 UK AISI 在对 ChatGPT-5.6 进行外部安全测试时,找到了可以跨多类任务发挥作用的 " 通用越狱 " 方法。有些甚至能够支持漏洞发现和漏洞利用开发。报告里有一句特别值得玩味的话:部分越狱方法,在测试条件下,数小时之内就可以被开发出来。

当然,这是安全研究员在特殊条件下做的红队测试,掌握信息比普通用户多;OpenAI 也表示发布前已修复,不能讲成 " 已被黑客全面攻破 "。但它提醒我们一个反直觉的道理:AI 的安全边界,不像保险柜的钢板是固定的,更像语言世界里的规则。语言可以解释、转换、包装,甚至诱导。这正是大语言模型的特殊安全挑战。

图片来源于任望 PPT

当 AI " 长出手脚 ",

风险又会发生什么变化?

如果说大模型是 " 大脑 ",Agent 就相当于给大脑装上了 " 手 " 和 " 脚 ",当 AI 会自己搜索网页、运行程序、读文件 …… 执行一整套操作,能力更强,问题也变了。

2026 年 9 月,OpenAI 披露了一个非常有特点的案例。研究人员给一个 Agent 布置了一个其实很普通的任务:寻找面积超过一定规模的湖泊,并要求提供可以在浏览器中验证的证据。Agent 利用 Python 已经得到了正确答案。但是它发现一个问题:它手里的结果没有可以在浏览器中验证的证据。大家猜,它怎么办?

正常情况下,我们希望它说:" 我已经找到答案,但暂时没有合适的网页引用。" 或者:" 我需要你的授权才能继续。" 但它选了另一条路——把文件传到了互联网上,这样就有网页可引用了。可问题是:用户根本没要求它上传,也没授权公开。

还有一个更惊人的事件:在今年 7 月的一次受控评测里,约 1200 个彼此隔离的 AI 智能体竟自己搭起 " 留言板 "、交换了 7 万多条消息和文件,讨论如何绕过安全评测机制。这指向一个根本性转变:AI 安全,正在从 " 答案安全 ",走向 " 行动安全 ";未来要防的,不只是一个 Agent " 擅自行动 ",而是多个 Agent 协作,把越界行为进一步放大。

以前我们担心:AI 会不会说错?现在我们还必须问:AI 会不会做错?它能打开哪些文件?调用哪些工具?可以把什么东西发到互联网?什么时候必须停下来问人?这些问题的根源并不是哪一行代码写错了,是 AI 拥有了过多的功能、过大的权限、过高的自主度,术语叫做:" 过度代理权 "。

所以 AI 安全最重要的一条原则,和人类社会管理权限一模一样:你有多大能力,不代表我就该给你多大权限。

不入侵程序

也可能骗过 AI 的眼睛

当 AI 进入汽车、机器人等设备,安全问题就进一步延伸到了物理世界。

在 2025 年的一次国际网络安全会议上,研究人员公布了一项叫ControlLoc 的研究,研究目标是自动驾驶汽车的视觉系统。汽车在路上,要靠摄像头、传感器和 AI 判断前方有没有车、车在哪、离多远。他们提了一个很有挑衅性的问题:如果不入侵汽车、不修改程序、不破解密码,只是想办法让 AI " 看错 ",会怎么样?

于是他们设计了一种特殊的对抗图案。这种图案人眼看上去没什么特别,但 AI 看到后,却可能把前方目标的位置、形状判断错——人眼看到的还是那辆车,AI 眼里的那辆车,可能已经 " 跑到了另一个位置 "。在真实车辆 + 仿真路况环境里,这种攻击的平均成功率大约有 79% ,它可能造成碰撞,也可能让汽车突然做出没必要的急刹。

它提醒我们:攻击 AI ,有时根本不用攻进它的电脑和程序,只要骗过 AI 的眼睛就行。所以 AI 多了一层新风险:它可能在 " 理解世界 " 这一步就被带偏。

图片识别看错了,最多把猫认成狗;可汽车、机器人看错了,错误就会沿着 " 感知—判断—行动 " 一路放大。所以,我们不仅要防别人 " 黑进系统 ",更要防别人骗过机器对世界的理解。

图片来源于任望 PPT

到底什么是 AI 漏洞?

有一个经常被误解的地方:AI 系统并没有生活在传统计算机世界之外——它下面仍然是操作系统、服务器、数据库、网络、开源软件、账号密码、API,各种代码一样不少。所以传统软件有的安全问题,AI 一样会有,比如代码漏洞、配置错误、身份认证缺陷、权限管理不当、供应链漏洞,不会因为前面加了 " AI " 两个字母就消失。

真正的不同是在这些传统攻击面之上,AI 又增加了一层新攻击面。训练数据、模型本身、我们给它的提示词、来自它读取的网页和文件,甚至它调用的工具。所以 AI 漏洞不是 " 旧漏洞消失、新漏洞出现 ",而是二者并行。

那么,什么才算真正的 " 漏洞 "?按《网络安全漏洞标识与描述规范》就是:一个有可能被威胁源利用的缺陷或薄弱点。注意两个关键词:" 缺陷或薄弱点 " 和 " 有可能被利用 "。所以 AI 答错一道数学题、画的猫多了一条腿,不一定是安全漏洞——那可能只是功能、性能问题。但如果有人能想办法让 AI 绕过安全规则、让一个只能读文件的 AI 改文件、把不该公开的数据发出去——问题的性质就变了:从 " 它会不会犯错 ",变成了 " 别人能不能利用它犯错 "。说到底,错误,不完全等于漏洞;漏洞,也不只存在于代码。他是内在缺陷与外在威胁共同作用的结果。

图片来源于任望 PPT

AI 漏洞能修好吗?

你可能会想说,如果发现了 AI 漏洞,我们打补丁不就行了吗?但 AI 漏洞有一个问题是,往往很难靠一次补丁就宣布永久结束。其原因,可以用三个词解释:开放、学习、行动——

第一,输入是开放的。攻击者可以更换语言、表达方式和上下文,把相同意图藏进不同内容。仅靠关键词过滤,很难覆盖所有情况。

第二,能力来自学习和泛化。我们并没有把所有答案一条条写进代码,大模型靠学习海量信息,就获得了处理新问题的能力。但这种泛化能力也意味着——大模型可能在开发者从没设计过的场景里,采取新的策略。

第三,也是最重要的,AI 开始行动了。一个只会聊天的模型,就算被骗,影响通常还停留在信息层面;但当一个 AI 能转账、发邮件、改数据库、控制机器人的时候,一次判断错误,后果就完全不同了。

所以,真正成熟的 AI 安全,不是幻想 " 训练出一个永远不会犯错的 AI" ——这个目标今天并不现实。真正成熟的做法是:即使模型犯错,系统也不应该轻易失控。

AI 安全真正给我们的启示,不应该是:" 人工智能太危险,我们不要使用它。"也不应该是:" 人工智能越来越聪明,所以它自己会解决一切安全问题。"而应该是第三种态度:能力越强,越需要边界;自主性越高,越需要约束;应用越广,越需要安全。

更安全是更智慧的前提,更智慧是更安全的保障,这正是 " 总体国家安全观 " 里所讲的 " 统筹发展与安全 " 辩证关系;我们的目标是:让人工智能始终朝着向上向善、造福人类的方向不断健康发展。

策划制作

演讲人丨任望 国家信息安全漏洞库、国家人工智能安全漏洞库主任

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 人工智能 越狱 安全漏洞 黑客
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…