新浪财经 21小时前
阿里巴巴首席科学家周靖人:Agent执行要有安全沙箱机制
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_font3.html

 

来源:睿见 Economy

2026Inclusion · 外滩大会于 2026 年 9 月 9 日至 12 日在上海黄浦世博园区举行,本届大会以 " 共创 AI 新经济 " 为主题。

阿里巴巴集团首席科学家周靖人表示,在权限层面,可以把 Agent 类比成一个人,当你给人下达指令时,同时会附带约束条件,明确哪些事情允许他去做。

在模型侧,他表示,安全能力已经取得长足进步,但仍有大量工作要持续推进。很关键一点,我们会给模型设置强约束,并且要保证模型始终遵守这些约束,不会因为中途读取其他资料,就弱化对约束条件的理解。

他强调,这里要做好区分:一类是硬性限制规则,另一类是任务执行过程中需要处理的数据。处理数据,不等于数据可以覆盖原有约束。比如设定 100 元以内完成任务,即便模型读到一份材料说要 200 元,Agent 依然必须遵守最开始的限额约束。

他到安全与信任问题,他指出还有一个关键点:Agent 执行要有安全沙箱机制,防止本意让它做 A,结果它执行了 B。这套能力由整套 Agent 系统来管控,提供安全执行环境。

他认为,理解 Agent 的信任问题其实不用想得太复杂,就把 Agent 当作人来看待。就像和同事协作,分配任务时都会附带约束条件。"Agent 之间的协作,和人与人之间协作逻辑相近。只要把约束条件定义清楚,搭建好沙箱执行环境,让模型分清什么是强约束、什么是待处理数据,这个问题就能逐步得到很好解决。" 他说。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 新经济 上海 外滩 阿里巴巴集团
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论