今年 4 月,美国 Anthropic 公司发布了两款大模型—— Mythos(希腊语,意为 " 神话 " ——记者注) 5 和加了安全防护的 Fable 5。6 月 12 日,美国政府以国家安全为由,向 AI 公司 Anthropic 发出紧急出口管制指令,要求其立即禁止外国主体访问最新大模型 Fable 5 和 Mythos 5。限制对象不仅涵盖美国境外的所有机构和个人,还包括境内的所有外籍人士,甚至是 Anthropic 的外籍雇员。
6 月 27 日,Anthropic 在社交媒体平台上发文称 Mythos 5 已拿到部分解禁,一批美国机构获准可使用 Mythos 5。同时推动 Fable 5 重新面向大众开放使用。
" 此次封禁让 AI 大模型第一次像光刻机和芯片一样被出口管制。"6 月 24 日,第十四届互联网安全大会上,360 集团创始人周鸿祎也提及了此事。
在周鸿祎看来,此次封禁源于 " 美国政府看到的不是一个大模型,而是一种新的国家级战略能力 ",他将这款可以自主寻找漏洞、分析漏洞、构造攻击软件的大模型类比为 AI 时代的核武器,引起了不少与会专家的关注。
禁令背后:一款能 " 自动挖漏洞 " 的大模型
这款模型到底厉害在哪?据了解,它并非 Anthropic 为网络安全专门设计的产品——这家公司的核心业务是用 AI 帮助程序员写代码、维护代码、理解代码。问题在于,AI 写代码的产能是人类的几十倍甚至上百倍,漏洞数量也可能同步放大。如果 AI 写出的代码漏洞百出,整个行业都将面临灾难。于是,Anthropic 开始让模型学习找代码里的漏洞,结果它不仅学会了找漏洞,还 " 意外 " 掌握了自动编写攻击代码的能力。
在实际测试中,Mythos 5 从被认为全球最安全的 Unix 系统之一 OpenBSD 的内核中,找出了一个潜伏 27 年的漏洞;在全球音视频基础设施广泛使用的 FFmpeg 中,又挖出了一个潜伏 16 年的漏洞。周鸿祎评价:" 这说明 Mythos 5 已经不是一个简单的编程助手,它开始具备网络攻防的能力。"
更值得关注的是,该技能并非 Mythos 5 所独有。中国计算机学会计算机安全专业委员会主任严明介绍,6 月 6 日,多伦多大学和剑桥大学一群安全学者发布《大语言模型驱动的自适应计算机蠕虫》论文,这套 AI 蠕虫在 33 台不同设备虚拟企业网络中 7 天自主识别 31 个漏洞、拿下 23 台设备管理员权限,最深繁衍七代,还能自行修改软件源绕过 HTTPS 证书、删除系统安全校验逻辑实现逃逸。"AI 正在大幅压低攻击门槛,黑产已经呈现了工业化的特征,传统基于规则、特征的防御体系濒临失效,风险从网络数据泄露延伸到模型、智能体原生层面。" 严明说。
" 智能体的攻击正在呈现出自主决策、集群协同与持续进化的技术特征。" 大会上,中国工程院院士邬贺铨指出,多个智能体间可以实现共享信息、分工协作,这种集群化的攻击可以在极短的时间内从多个入口同时发起,让防御系统疲于应对。" 更值得警惕的是,智能体具备持续学习与迭代的能力,每一次攻防对抗都会成为它们优化的素材,攻击手段会随着时间不断变化。"
一线实践:从企业到政务,AI 安全攻防没有 " 旁观席 "
" 随着智能体加速向制造、金融、能源等关键领域渗透,任何一处安全隐患,都可能借助智能体的自主调度能力,在短时间内引发跨网络、跨行业的连锁反应。" 大会上,中国互联网协会副理事长、工业和信息化部原总工程师赵志国提醒道。
中国计算机用户协会副理事长、中国海洋石油集团有限公司特聘专家王同良在大会上分享了他们的困境:传统安全运营正被海量告警淹没——无效告警占比高达 90%,有效威胁信号被大量噪音掩盖,然而高级安全分析师培养周期长、成本高,人员流动频繁,团队能力参差不齐。" 因此,我们非常需要大模型技术去重塑安全体系。"
除了实体企业,对于云上公司而言,AI 时代之后,攻击面也发生了本质的变化:比如提示词注入、越权工具调用、训练数据投毒等。天翼云科技有限公司安全产品线总经理助理吴雷注意到,传统安全关注的往往是系统是否被攻破,而 AI 安全关注的是模型是否被诱导、智能体是否被操控、数据是否被隐形地泄露了。" 这就意味着攻击链条从漏洞利用转向了认知的一个操控,防御对象也从服务器应用扩展到服务器应用、模型、数据、智能体工具链以及推理的环境。"
宁波市数据基础设施与安全处处长冯豪指出,政务智能体可处理群众办事、数据流转,一旦被恶意提示诱导,极易批量调取民生敏感数据向外传输,跨域数据流转管控难度极大。
" 我们知道人工智能向产业,特别是金融业、服务业渗透得很厉害。" 中国工程院院士赵春江在大会上指出,而这些领域的数据泄露之后,可能被当作商品来进行销售,从而给主体企业带来很大的损失。
中国不能缺席:从 " 单向透明 " 到 " 快慢之争 "
" 这就给了我们一个非常重要的启发。" 周鸿祎强调," 中国网络安全行业必须要想清楚我们该何去何从。这已经不是一个商业竞争的问题。"
面对这一挑战,中国的政企已经开始尝试用 AI 去对抗 AI,用智能体去防御智能体。
据周鸿祎介绍,360 已发布中国版 Mythos 5 —— " 图龙锋 ",目前已累计挖掘漏洞 3000 多个,其中监管确认 105 个,多个被国家漏洞库定义为高危漏洞。同时,360 还将在近期发布网络安全自动化防御系统 " 仪天阵 ",目标实现无人值守、自动运营。
"AI 已经成为网络安全运营的必选项。" 王同良分享说,中海油目前部署的安全大模型,已经具备 12 个智能体,覆盖安全运营全流程,包括辅助运营、智能减速、数据截取、钓鱼邮件检查、攻击者猎手、告警降噪、告警研判、威胁狩猎、事件运营、威胁情报联动、处置报告生成等方面。
" 现在我们除了传统的政务云以外,又增加了人工智能这个超算中心。" 冯豪补充说,当地正在通过借助 AI 提升政务运营自动化感知的研判能力,让 AI 能够在海量的告警当中抓住最重要的事情。同时,当地还在训练 AI 增加其可审计、可回退、可追责的能力,以在一次次对抗训练中找到问题,实现迭代。
正如邬贺铨院士在大会上所言:" 智能体颠覆安全不是一句口号,而是正在发生的技术事实。技术演进的车轮不会等待我们,我们需要了解智能体、掌控智能体。" 当 AI 的漏洞挖掘能力可能像芯片一样被管制,这场无声的竞赛已经不再是未来时,而是现在进行时。
来源:中国青年报


登录后才可以发布评论哦
打开小程序可以发布评论哦