文 | 字母 AI
这下,AI 也得被盯着上班了。
10 月 19 日,微软宣布给安全系统 Project Perception 增加一批 " 监工 ",专门盯着企业里其他 Agent 干活。发现不对劲,就查明原因并收回权限,必要时直接叫停。
那让谁来当监工呢?微软安排了另一批 AI 来干这活。
企业让 Agent 干活,本来是想少操点心。但要让它替人干活,总得给它一些权限。比如帮忙审批报销,就得允许它查看单据、操作报销系统。万一它理解错了任务,或者被文件里夹带的恶意指令带偏,就可能会拿着公司给的权限闯祸。
所谓 " 有内鬼 ",倒不一定是 Agent 存心使坏。有时它只是想把事情办好,却帮了倒忙,给公司惹出麻烦来。
怎么还得防着自己人
微软自己的办公 AI 助手 Microsoft 365 Copilot,就曾在研究人员的测试中泄露敏感资料。
2025 年,以色列安全公司 Aim Security 旗下的研究团队 Aim Labs 发现,可以把恶意指令藏进邮件,诱导 Copilot 泄露信息。他们编写了一封这样的邮件,等 Copilot 在回答用户问题、查找相关资料时读到它。
用户不用亲自打开邮件,也不用点击链接。在测试中,Copilot 检索到这封邮件后,被里面的指令带偏,将正在处理的敏感信息传到了外部。
研究人员把这套攻击方法命名为 EchoLeak,并向微软报告。幸好当时没有已知客户因这一漏洞遭遇泄密,泄露发生在研究人员的测试中。

这件事麻烦就麻烦在,公司允许 Copilot 读取邮件,是为了让它查资料。可邮件里既可能有工作内容,也可能有别人塞进来的指令。AI 并不总能分清哪些是资料、哪些是在骗它做事。
能读写文件、调用工具的 Agent,也会碰到同样的问题。它手里的权限越多,被骗之后能制造的麻烦就越大。
而且,Agent 开工时正常,不代表整项任务都能顺利做完。前几份文件可能毫无问题,下一份就藏着恶意指令。只在启用时检查一次,管不到它后来的新遭遇新决策。
最关键的是人类在这方面确实有点心有余而力不足了。
靠安全人员逐条盯着,又很难跟得上。人还在查上一条警报,Agent 可能已经接连执行了好几个操作。
微软于是准备让另一批 Agent 接手检查,Agent 管 Agent,总行了吧。
Agent 也有顶头上司咯
微软给这批 " 监工 " 起名叫 Guardian Agents,放在安全系统 Project Perception 里。它们负责检查其他 Agent 的行为,发现异常后调查原因,再按企业事先定好的规则采取措施。
不过,要管住 Agent,不能等它出事了才动手。按微软公布的方案,企业首先要给执行任务的 Agent 单独建立身份,明确它归谁负责、能访问哪些资料、能做哪些操作。权限只给当前任务需要的部分,任务结束后收回。

这样,既能限制它接触的范围,出了问题也方便查清是谁做的。
Agent 开始干活后,系统还要继续观察它的行为。一旦发现异常,可以先收紧权限,比如禁止修改文件,但保留读取权限,让它继续完成风险较低的工作。有些操作可以要求人工批准。必要时,再隔离或停止 Agent。
可负责监督的也是 Agent,判断错了怎么办?
纳德拉在 10 月 10 日的文章中提出,企业需要在 AI 之外,设置一套 AI 无法绕过或修改的权限规则。
按这个原则,如果企业规定某类资料不得外发,那么即使执行任务的 Agent 和负责监督它的 AI 都同意发送,系统也必须阻止。这类决定不能只靠 AI 自己判断。
在这次更新中,微软扩大了企业电脑安全软件 Defender for Endpoint 的识别范围,现在可以发现 60 种本地运行的 AI Agent。
不过,查出员工用了哪些 Agent,只是第一步。能否拦住它们的危险操作,还要看具体的 Agent 和电脑系统是否在防护功能的支持范围内。
即使支持防护,也需要企业主动开启拦截。Defender 的 Agent 运行时防护启用后,可以选择 " 审计 " 或 " 阻止 " 模式。在 " 审计模式 " 下,发现恶意指令后只记录并发出警报,仍允许操作继续。切换到 " 阻止模式 " 后,才会执行拦截。
微软建议先用审计模式观察警报是否准确,排查误报后,再逐步开启阻止模式。
Project Perception 目前仍处于面向少量受邀客户的预览阶段。
Agent 监工这钱也让微软挣上了
最近几个月,AI 越权干活的事情接连被公开。怎么管住这些越来越能干的家伙,成了厂商们绕不开的问题。
OpenAI 在 8 月公布的一份调查中承认,7 月,一些在减弱安全限制的条件下接受内部网络安全测试的模型,绕过了网络隔离,侵入公司内部的部分研究设施和 AI 平台 Hugging Face 的系统。这些操作超出了测试任务的授权范围。
10 月 9 日,Anthropic 又披露,Claude 在一次网页操作测试中,给费城警方提交了一条编造的凶杀案线索。它本来只是在完成网页交互任务,却把示例内容真的发了出去。好在这条信息被判为垃圾信息,没有进入调查程序。
这些事件发生在测试中,却碰到了真实网站和系统。Anthropic 因此宣布,在确认安全措施足够可靠前,暂停所有内部评测的实时联网。它还把内部 Agent 迁入集中管理、限制更严格的环境,并增加自动检测和拦截工具。
安全厂商也开始往 Agent 身边加人手、加关卡。
9 月 1 日,CrowdStrike 发布了 Falcon Guardian,连名字里也带着 " 守护者 "。按该公司的介绍,这套产品能发现企业 Windows 和 Mac 电脑上的 Agent,追踪它们调用了什么工具、执行了什么操作,还能阻止未经批准的 Agent 运行。它强调的是直接在 Agent 干活的电脑上执行限制,让企业定下的规矩真正生效。
Palo Alto Networks 则在 10 月 15 日介绍了 Prisma AIRS 的新功能:在 Agent 调用企业工具时,检查来回传递的内容,拦截夹带的恶意指令,遮蔽返回结果中的敏感数据,再按企业设定的权限决定能否继续操作。Agent 想调用工具,得先过安全检查这一关。
这是一个趋势,也是一个商机,如今微软也想做这门生意。Perception 按实际使用量收费,以 " 安全计算单位 "(SCU)衡量消耗,安全 Agent 执行的任务越繁重,消耗通常越多。不过,官网公布的是整套系统的计费方式,没有单列新增这批 " 监工 " 的价格。
微软另一款管理 Agent 的产品 Agent 365,独立订阅的标价是每用户每月 15 美元。它和 Perception 是不同产品,但两者会共享 Agent 名录和安全信息,配合企业管理和保护 Agent。
让 AI 干活要花钱,把 AI 管住也要花钱,至于效果如何,只能等着看了。


登录后才可以发布评论哦
打开小程序可以发布评论哦