砍柴网 3小时前
当AI智能体成为企业员工,谁来管控它们的行为
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

AI智能体成为企业员工,谁来管控它们的行为?

随着 AI 在企业运营中的不断深入,智能体已经可以在一些应用场景中承担员工的角色。设想一支销售运营团队,他们构建了一个 AI 智能体来处理客户续约请求。智能体读取客户来信,在 CRM 中查询账户记录,查阅合同条款,起草回复,更新商机阶段,并创建跟进任务。在这个当下看似普通的工作流之下,有些重要的事情已经悄然改变。

这个智能体不只是在生成文字。它在读取业务数据,使用凭证,调用工具,修改企业系统。它能访问私有信息,暴露于不可信内容之中,还能通过邮件和工作流向外通信。这不是实验室里的技术演示,而是正在企业中大规模发生的现实。

致命三角:为什么智能体安全是一个全新的问题

Django 框架联合创始人、知名技术博主 Simon Willison 将这一模式称为 AI 智能体的 " 致命三角 ":私有数据、不可信输入,以及对外通信。AI 智能体之所以有用,正是因为它将这三个要素汇聚在了一起。而这,也正是它从根本上改变安全模型的原因。

"AI 助手建议下一步该做什么,AI 智能体直接去做。" 这一句话,道出了安全挑战的本质转变。过去,安全团队的问题是 " 员工是否在恰当地使用 AI"。现在,问题变成了:智能体在哪里运行,谁可以访问它,它能触及什么,可以调用哪些工具,以及每一个行动在发生之前是否安全。

这不是面向未来的预警,而是当下正在发生的现实。

中国互联网络信息中心数据显示,截至 2025 年底,中国生成式 AI 用户规模已达 6.02 亿,同比增长 142%。与此同时,中国日均 Token 调用量已超 140 万亿,两年内增长超过千倍。AI 已深度嵌入企业日常运营,智能体化正成为这一进程的下一阶段。

Check Point《2026 年云安全报告》呈现了这一趋势的具体规模:64% 的企业已在试点或生产环境中部署了 AI 智能体,12% 已向智能体授予对核心系统的访问权限。智能体安全,已不再是供未来规划讨论的话题,而是一个当下亟需解决的生产治理问题。

多种风险模式已在真实场景中出现

当智能体获得访问数据、调用工具、修改系统的能力,风险随之以具体的形式呈现。

指令被操控是最直接的威胁。提示词注入利用的是智能体将不可信内容作为工作一部分来处理的特性——邮件、文档、网页、工单。如果智能体无法区分数据与指令,一个隐藏在普通邮件中的恶意指令,就可能将整个任务重定向。续约智能体读取客户来信,如果某封邮件携带了隐藏指令,要求它检索不相关的账户数据并发送到外部,对人类读者而言那只是邮件内容,对智能体来说却可能是一条待执行的命令。

敏感数据移动是第二类风险。智能体可能将专有数据、凭证、个人隐私信息或受监管信息带入提示词、工具调用和外部系统。泄露往往隐藏在一个逐步看来合理的工作流之中,等到发现时,数据早已离开了企业边界。

工具被不当使用是第三类风险。工具本身合规,智能体也有权限使用,问题在于它以错误的理由、在错误的时间、超出任务范围使用了正确的工具。这类风险传统权限管控很难识别,因为从访问控制的角度看,一切都在允许范围之内。

组件风险随着智能体架构的复杂化而加剧。智能体由模型、提示词、工具、连接器、API 和外部内容源组装而成,一个新接入的工具或被攻陷的组件,可以悄然改变智能体的风险画像,即便智能体本身看起来行为正常。

这些风险指向同一个结论:传统的最小权限管控能够告诉你智能体被允许访问什么,却无法回答一个更关键的运行时判断问题,那就是这一次工具调用,在这个上下文中,针对这个任务,究竟该不该发生?

运行时是真正的管控点

安全必须在风险决策发生的地方介入,而不是在损失发生后才响应。

然而现实是,根据《2026 年云安全报告》,仅有 17% 的企业广泛部署了运行时大语言模型管控,包括输入验证、输出过滤和工具调用授权。77% 的企业已更新了 AI 安全策略,但仅有 26% 具备执行这些策略的架构能力。

弥合这一差距,需要围绕三个步骤构建实践模型。

首先是可视性问题:清点所有正在运行或正在开发中的智能体,了解它们连接什么、使用哪些工具、能访问什么数据、拥有多大自主权。第二,用户需要在智能体进入生产环境之前就定义权限,并为工具调用、数据访问和部署模式制定策略边界。第三,保护应在运行时介入:在提示词到达模型之前、在输出到达用户之前、在工具调用执行之前进行检查,在不安全行动发生之前将其拦截。

Check Point AI 智能体安全专为这一运行时现实而设计,对 AI 应用和智能体进行内联保护,从提示词到输出,再到智能体的每一次工具调用,无需重新训练模型或重写提示词。这一能力作为 Check Point AI Defense Plane 的核心组成部分,将员工 AI 使用、AI 应用与智能体三个维度的安全管控统一整合,确保智能体安全不是一个孤立的单点工具,而是贯穿企业 AI 执行层的完整防御体系。

" 预防为先 " 在智能体安全场景中有了最具体的含义:安全跟随智能体执行的每一步,在从指令到行动的整条路径上持续在场,而不是等待不安全结果发生后再行补救。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 云安全 创始人
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论