新浪财经 9小时前
蚂蚁集团连发两款开源安全模型,为大模型与智能体套上“紧箍咒”
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_font3.html

 

来源:时代周报 - 时代在线

7 月 13 日,蚂蚁 AI 安全实验室宣布开源智能体安全护栏 SingGuard-NSFA,并同步披露多模态安全护栏 SingGuard 的详细信息。两款模型分别面向 " 自主执行的智能体 " 和 " 多模态交互的大模型 " 两大前沿场景,标志着蚂蚁在 AI 安全领域进一步完善系统化布局。

随着 AI 从内容生成迈向自主执行,安全问题正从模型输出扩展到行为控制、权限管理和系统治理。智能体开始自主调用工具、运行代码、规划任务,模型也逐渐具备理解图像、文本等多模态信息的能力,AI 系统的能力边界不断拓展,也带来了新的安全挑战。

过去一年,提示词注入、权限滥用、恶意代码执行、数据泄露等安全事件持续出现。从 Amazon Q 提示词投毒、Microsoft Copilot 数据泄露,到开源智能体 OpenClaw 暴露出的提示词注入风险,都表明智能体自主性越强,安全风险的放大效应越明显。2025 年 12 月,OWASP 发布《智能体应用安全十大风险》,系统梳理智能体特有安全威胁;2026 年 5 月,国家网信办、国家发展改革委、工业和信息化部联合印发《智能体规范应用与创新发展实施意见》,首次从国家层面对智能体安全治理提出明确要求。

在这一背景下,蚂蚁 AI 安全实验室此次开源两款安全模型,旨在为大模型和智能体提供更加完善的底层安全能力。

SingGuard-NSFA:为智能体操作装上 " 实时刹车 "

随着智能体从 " 回答问题 " 逐步走向 " 自主办事 ",AI 开始调用工具、执行代码、编排多步任务,安全风险已经不仅停留在内容层面,而更多体现在行为层面。提示词注入、敏感信息窃取、恶意代码执行、资源耗尽、权限滥用等问题,传统内容审核体系难以有效覆盖。

针对这一痛点,蚂蚁 AI 安全实验室推出 SingGuard-NSFA,在智能体执行动作之前完成实时安全检测,从请求拦截和响应兜底两端构建行为安全防护体系。

SingGuard-NSFA 基于 CIA(保密性、完整性、可用性)原则,结合 OWASP 等国际安全指南,将智能体风险细分为 7 大类、28 个中类和 185 个具体场景,并建立覆盖 133 种语言、近 10 万条样本的智能体安全评测体系。

在技术实现上,SingGuard-NSFA 兼顾了安全审计和实时防护两种需求。它提供两种工作模式:一种模式可以逐条生成详细的风险分析报告,方便事后审查和合规记录;另一种模式则能在 50 毫秒左右完成单次风险判定,适合线上高并发场景下的实时拦截。并提供 0.8B、2B、4B、9B 四种模型规模,满足不同部署需求。

多项公开评测显示,SingGuard-NSFA 在智能体输入、输出安全检测中均取得领先表现。其中,0.8B 模型即可达到 8B 模型性能水平,新增风险类别时仅需训练轻量模块,无需重新训练整个模型,可进一步提升现有安全护栏的检测能力。

SingGuard:多模态内容安全的 " 全能守门员 "

与智能体操作安全并行的另一条防线,是多模态交互场景下的内容安全。今年 6 月,Anthropic 发布旗舰模型 Claude Fable 5,数日内即被研究者用 Unicode 字符和西里尔字母替换敏感词绕过了安全护栏——模型能还原原意,分类器却视其为陌生拼写,系统提示词因此被套出。这表明,模型越能读懂变形文字、图片和跨模态信息,传统关键词识别式的护栏就越力不从心。

SingGuard 正是为此设计的多模态安全护栏。它面向文本、图片及跨模态内容建立统一安全判断框架,可识别攻击者将恶意动作隐藏在文字、图片等不同模态中的复杂攻击。同时支持运行时动态加载自然语言安全规则,无需重新训练模型即可完成规则更新,更适用于规则持续演进、业务流量较大的生产环境。

在推理机制上,SingGuard 采用 " 快慢结合 " 模式:先快速完成初步判断,只有面对复杂场景时才启动进一步推理,在保证效率的同时提升检测准确率。

在覆盖文本查询、文本回复、图像、多模态和多语言的 6 大类评测中,SingGuard 在 35 个数据集及评测切分上的平均 F1 均为最高。其对比对象涵盖 Llama Guard 3、谷歌 ShieldGemma、GPT-5.1、Gemini3-Pro 等业内最具代表性的主流护栏,SingGuard 均实现全面领先。

中国信通院人工智能研究所安全治理部副主任呼娜英表示,随着大模型从内容生成迈向自主执行,AI 安全正从内容审核延伸至行为管控和系统治理,成为智能体规模化应用的重要基础能力。蚂蚁 AI 安全实验室已针对开源智能体框架 OpenClaw 开展专项安全审计,并于今年 4 月联合清华大学开源智能体安全防御插件 ClawAegis,为自主智能体提供覆盖全生命周期的安全防护能力。此次 SingGuard-NSFA 与 SingGuard 多模态安全护栏相继开源,是蚂蚁集团持续推进 AI 安全技术研发和开放生态建设的重要实践。

这些安全技术的研发与开源,建立在蚂蚁集团二十余年的安全技术积累之上。依托在支付安全、数据安全、隐私保护和风险治理等领域的长期实践,蚂蚁持续完善 AI 安全体系,相关能力已应用于蚂蚁阿福、AI 版支付宝 " 阿宝 "、支付宝 "AI 付 " 等业务场景。

与此同时,蚂蚁集团持续参与 AI 安全标准和治理体系建设,参与 IIFAA《终端智能体可信互联技术规范》制定,牵头 ITU 国际标准《终端智能体可信互联技术规范》立项,并发布智能体安全可信互连协议 ASL,持续推动 AI 安全能力从技术创新走向产业实践。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

开源 ai amazon 工业和信息化部 防护体系
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论