财经网 5小时前
蚂蚁集团连续开源两款AI安全模型
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

7 月 13 日,蚂蚁 AI 安全实验室宣布开源智能体安全护栏 SingGuard-NSFA,并同步披露多模态安全护栏 SingGuard 的详细信息。两款模型分别面向 " 自主执行的智能体 " 和 " 多模态交互的大模型 " 两大前沿场景,标志着蚂蚁在 AI 安全领域进一步完善系统化布局。

随着智能体从 " 回答问题 " 逐步走向 " 自主办事 ",AI 开始调用工具、执行代码、编排多步任务,安全风险已经不仅停留在内容层面,而更多体现在行为层面。提示词注入、敏感信息窃取、恶意代码执行、资源耗尽、权限滥用等问题,传统内容审核体系难以有效覆盖。

针对这一痛点,蚂蚁 AI 安全实验室推出 SingGuard-NSFA,在智能体执行动作之前完成实时安全检测,从请求拦截和响应兜底两端构建行为安全防护体系。

与智能体操作安全并行的另一条防线,是多模态交互场景下的内容安全。

SingGuard 正是为此设计的多模态安全护栏。它面向文本、图片及跨模态内容建立统一安全判断框架,可识别攻击者将恶意动作隐藏在文字、图片等不同模态中的复杂攻击。同时支持运行时动态加载自然语言安全规则,无需重新训练模型即可完成规则更新,更适用于规则持续演进、业务流量较大的生产环境。

在推理机制上,SingGuard 采用 " 快慢结合 " 模式:先快速完成初步判断,只有面对复杂场景时才启动进一步推理,在保证效率的同时提升检测准确率。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 开源 防护体系
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论