艾瑞网 7小时前
阿里巴巴联合上海人工智能实验室发布AI白皮书
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

导语:白皮书分享了业界针对 AI 智能体安全隐患的解决策略,提出了 AI 时代全行业共同应对风险挑战的三个关键词 : 守己 , 利他 , 合作。

【环球网科技综合报道】在日前召开的上海浦江 AI 学术年会上,阿里巴巴联合上海人工智能实验室发布《守己利他:智能时代做负责任的技术》白皮书。白皮书分享了业界针对 AI 智能体安全隐患的解决策略,提出了 AI 时代全行业共同应对风险挑战的三个关键词:守己、利他、合作。

这是阿里巴巴连续第四年发布人工智能治理方向的实践成果。据介绍,阿里巴巴围绕全栈 AI 能力,已经构建了立体化的智能体安全防护体系。

图片说明:图为阿里巴巴联合上海人工智能实验室发布的 AI 白皮书

智能体 " 很能干 " 必须做到 " 很安全 "

白皮书指出,在当前形势和未来趋势下,安全不再是 AI 技术研发的选修课,而是社会信任的生命线,全行业必须坚持守己、利他,并积极开展合作,以合作达共识,以共识求共赢。

" 当前,全球 AI 正在从‘很能说’迈向‘很能干’,与之相对应,必须做到‘很安全’。" 阿里巴巴人工智能治理与可持续发展实验室主任薛晖在发布会上表示," 去年以来,智能体加速普及,AI 自主调度资源、执行复杂任务,风险正在集中暴露。"

据了解,阿里巴巴基于全栈 AI 能力,将安全基因注入从芯片、云计算、模型到应用的全栈 AI 体系,在源头上把好关,确保技术和产品先天就是安全的;并坚持开源开放,将内部验证过的技术包括安全技术,作为公共产品向全行业开放,携手千行百业一起践行 " 负责任的技术 " 理念。

让模型学习千万级漏洞 提升智能体内生安全能力

" 用户 DIY 智能体,就好比把保险箱直接放在家门口——虽然不能说必然会被窃取,但安全性难以保障。" 阿里巴巴通义实验室安全负责人张荣详细讲解了白皮书,在讲到智能体安全时,他打了个比方," 相比之下,Qoder、MuleRun 等封装完备的产品,通过内置安全机制,为智能体注入了更强的防护能力,整体安全性更有保障。"

据介绍,针对智能体面临的复杂风险,阿里巴巴围绕全栈 AI 能力,构建了立体化的安全防护体系。该体系的核心策略是:从源头提升基础大模型的内生安全能力,并构筑多层系统级安全围栏,实现智能体风险的全链路管控。

张荣解释说,在智能体的实际运行中,工具调用与代码执行是安全风险最集中的环节,而这两个环节高度依赖底层大模型的代码生成(AI Coding)能力。为此,阿里巴巴将强化千问模型在编程场景下的原生安全作为重点工作,依托 20 余年顶尖安全团队积累的代码安全经验,基于千万级真实漏洞样本,打造了高质量的安全训练语料。通过将这些语料深度融入模型训练的各个阶段,并开展多轮严格的安全对齐,千问模型的代码安全性已经达到行业最高水平,在权威代码安全评测基准 SecCodeBench 中,其生成代码的安全性稳居开源模型首位。

(文章为作者独立观点,不代表艾瑞网立场)

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论