
人工智能代理的规模化部署,正迫使企业重新审视安全治理、人类问责及监督机制。在 AWS Reimagine 2026 大会上,一项基于对 23 个行业 128 家组织、154 位高管进行的为期九个月的保密研究指出,组织必须将治理嵌入系统底层,并确保人类对最终结果负责。
研究显示,许多企业仍沿用针对数月期 IT 项目的审查流程,来处理仅需数天甚至更短的 AI 实验。当两周的实验需等待一个月获批时,团队往往选择绕过审批。这种滞后导致政策失效,将操作逼入 " 地下 "。一位受访领导者坦言,CIO 们曾花费多年治理 " 影子 IT",如今却面临规模扩大十倍的 " 影子 AI" 挑战。
安全、隐私和数据泄露是主要技术风险。组织担忧专有数据、客户信息或商业机密通过员工未经监督使用的第三方 AI 工具隐形泄露。尽管 AWS 委托 Strand Partners 进行的调查显示,超半数欧洲中小企业和大型企业已使用 AI,但仅有 24% 的组织拥有负责任的 AI 使用文档化方法,仅 10% 制定了数据治理策略。
波士顿大学信息服务与技术副总裁兼 CIO Chris Sedore 估计,该校 40% 至 50% 的人员每周至少使用一次 AI。" 部分使用发生在学校提供的模型中,但也有一部分处于失控状态。"
隐私边界与信任重建
电子邮件、聊天记录和会议纪要构成了数据的 " 人类层 "。虽然挖掘这些数据具有价值,但访问权限引发隐私担忧。休斯顿卫理公会主校区首席执行官兼首席创新官 Roberta Schwartz 回忆,曾有一名医生质疑 AI 项目意味着领导层在监控其私人消息。Schwartz 澄清事实并非如此,并指出员工需要约一年的系统使用经验,才能建立对 AI 的信任——即相信 AI 仅揭示组织层面的模式,而不窥探个人隐私。
为建立信任,组织在处理薪资、人力资源决策或个人通信等敏感数据前进行脱敏,确保 "AI 接收信号而非身份 ",并向员工透明说明数据使用方式。
将规则写入系统
部分组织在启动 AI 项目前实施风险分类。Bradesco 首席数据官兼数据与 AI 总监 Rafael Cavalcanti 构建了一个分类树,根据用例是否涉及个人数据、运行模式(实时或批量)以及是否需要 " 人类在环 " 来判定风险等级和控制措施。
针对 AI 代理,研究建议从人工审批起步,仅在证明其可靠性后逐步扩大自主权,并保留收回权限的选项," 将其视为新员工的试用期 "。由于代理可能误解或绕过嵌入式规则,安全限制应设置在代理外部。
此外,跨国监管差异加剧了治理复杂性。Standard Bank 云赋能首席技术官 Duncan Macdonald 指出,在 22 个国家运营时,企业需避免因少数国家的限制而影响其他地区的业务范式。
广泛使用,微薄成果
高采用率并不等同于高成效。一家处于 AI 旅程早期的组织数据显示,其 AI 采用率达 88%,但在 5000 多次会话中,极少产生实质性的工作成果提升。
效率提升也需结构化规划。RAK IDO 首席技术官 Dr. Rashed Iqbal 表示:" 若能在一个小时内完成四小时的工作,却没有规划如何利用节省下的三小时,对公司而言并无益处。"
与此同时,初级人才缺口依然存在。AI 消除了曾帮助初级员工培养判断力的重复性工作,尽管各组织正在尝试解决方案,但受访者均未给出明确答案。
【星途科讯 图文丨踢三脚 首发于 ZAKER 科技,转载请注明出处】


登录后才可以发布评论哦
打开小程序可以发布评论哦