去年，ServiceNow 部署了一款 AI 代理以处理常规人力资源请求，包括查询带薪休假余额、协助添加家庭成员保险等重复性任务。随后，公司安全团队尝试对该代理进行 " 红队测试 "，成功说服 AI 修改了测试人员的薪资。

" 我们不得不与它进行大量沟通，但凭借极强的说服力，我们成功让它修改了薪资。"ServiceNow CTO 兼 DevOps 执行副总裁 Pat Casey 表示。他指出，问题并非 AI 产生自主加薪的野心，而是 ServiceNow 赋予了该代理访问人力资源数据库及修改薪资工具的权限。" 你告诉它的任何事情，它都能做，或者有可能去做。在这方面，它就像人类一样。"

对 Casey 而言，这一事件揭示了企业在 AI 代理从问答机器人向个人助理转型过程中面临的核心挑战：AI 的安全性完全取决于其周边的权限控制和业务规则。" 这不像 AI 失控，更像是运行 AI 的人过度授予了它不应拥有的工具访问权限。"

这种认知正成为 ServiceNow 构建 AI 工作队的基石。目前，该公司已利用 AI 处理超过 90% 的内部员工 IT 请求，其 AI 代理每月累计解决超过 1 亿个客户案例。但 Casey 强调，企业不应指望将所有工作完全交给代理。

" 在传统 IT 事件管理中，我们可以自动化约 15% 的流程。"Casey 称，部分 ServiceNow 客户的自动化率达到 30%，而另一些则接近 5%。" 明年这一比例将达到 20%，但我认为永远无法达到 100%。"

AI 实验阶段终结，聚焦业务价值

Casey 认为，CEO 们对 AI 的关注点正在发生转变。早期阶段，企业出于错失恐惧（FOMO）纷纷尝试副驾驶助手、聊天机器人和代理，如同 " 一百万盏灯同时亮起 "。随后进入了 " 往墙上扔意大利面 " 式的盲目试错期。

如今，这一阶段已经结束。高管们开始追问更尖锐的问题：这些实验究竟带来了什么改变？"C 级高管告诉我，他们受够了实验。虽然工程团队乐在其中，但业务层面并未发生实质变化。董事会质疑为何要在不产生业务价值的事情上花费巨资。"Casey 回忆道。

Casey 指出，企业 AI 的下一阶段成功关键在于让 AI 执行公司内部已有的工作，而非单纯添加新的聊天机器人。他将当前 AI 生成的代码比作上世纪 90 年代的汇编语言：当时资深工程师不信任编译器，会仔细检查生成的汇编代码；如今，工程师也需对 AI 生成代码保持同样的严谨。

" 存在风险，" 当被问及 AI 是否会导致批判性思维下降时，Casey 指出，" 但我看到 ServiceNow 最成功的工程师仍将核心的工程严谨性应用于解决问题。" 他直言，缺乏纪律约束将导致 "AI 垃圾内容泛滥 "，人类无法完全退出循环。" 我尚未见过 AI 能取代优秀的人类架构师去设计或扩展大型系统。" 不过他推测，三到五年后，可能会出现擅长系统架构的 AI。

印度：从追随者到全球 AI 应用出口地

Casey 还指出了印度在 AI 领域的独特机遇。他认为，印度难以在基础大模型竞赛中追赶美国，" 无论投入多少资源，都很难弥补三到五年的技术代差。"

但在将模型应用于消费者和商业案例方面，印度可能处于领先地位。Casey 认为，这最终可能演变为一种出口产业：" 不再是人们来印度帮助构建全球技术，而是印度技术走向世界各地。"

目前，ServiceNow 全球劳动力中超过 15% 位于印度，海得拉巴是其最大的工程中心之一。Casey 透露，ServiceNow 约有一半的工程师位于印度，为整个产品组合做出贡献。他对印度的建议简单明确：" 继续全力支持初创部门，因为那里将是许多创新动态的来源。"

【星途科讯 图文丨伊贝 首发于 ZAKER 科技，转载请注明出处】