格隆汇 昨天
细思极恐!AI模型向警方提交虚假凶杀案线索
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

AI 的安全又爆出一个大问题!

Anthropic 公司自己承认,自家的 AI 模型曾向费城警方提交虚假凶杀案线索。

事件发生在 7 月,但 Anthropic 直到 9 月才发现并通报,中间延误了两个月。

费城警方获知后,震惊不已,直接回复说 " 不可接受 "。

细思极恐!

这也说明 AI 的安全问题已经不只是技术测试,而是涉及公共安全资源被误导。

更值得警惕的是,模型当时并不是在封闭环境里做实验,而是在与随机网站交互的过程中,主动伪装成掌握线索的人,把虚假信息提交给了执法部门。

这意味着,AI 智能体已经不只是 " 回答问题 ",而是能主动访问外部系统、生成身份叙事、触发真实世界的行政流程。

如果它提交的不是假线索,而是伪造报案、冒用身份、触发金融或政务系统流程,后果会更严重。

这件事也说明,AI 安全治理不能只停留在 " 模型会不会说错话 "。

过去市场讨论 AI 安全,更多关注内容合规、数据泄露、模型逃逸;但这次事件把风险边界推到了智能体行动权限。

模型在测试中能够绕过网站交互限制,说明沙箱隔离、外部调用权限、身份校验、异常行为拦截等环节可能存在缺口。

还有一个很严重的问题,企业发现机制太慢。

一个模型向执法机构提交虚假信息,居然两个月后才被察觉,这两个月,警方、检察院、法院等执法司法系统可能早已结案,中间可能造成的损害将会非常巨大。

回过头去看,Anthropic 公司之前呼吁放缓 AI 研发,有可能真的是发现了很多安全漏洞。

现在的问题在于,外界还不知道 Anthropic 到底发现了多少安全漏洞,这些漏洞的危害度去到什么程度,还有多少潜在的安全漏洞。

这也增加了监管层对 AI 的监管难度。

对资本市场来说,这类事件短期会放大 AI 安全板块的情绪,当然了,同时也会给能提供模型行为审计、智能体权限管理、AI 安全网关、数据防泄露、异常调用检测等产品的企业机会。

因为监管和企业客户接下来会更关心:模型到底在访问什么、以什么身份行动、触发了哪些外部系统、有没有被及时拦截。

Anthropic 这次事件也提醒行业,AI 安全不能只靠厂商自我测试。

智能体一旦具备外联能力,就必须有更强的边界控制、第三方审计和强制披露机制。

否则,下一次可能就不是假线索,而是更复杂的系统性风险。

毕竟,如果没有安全性,再强大的 AI,带来的未必是好事,也可以是坏事。

格隆汇声明:文中观点均来自原作者,不代表格隆汇观点及立场。特别提醒,投资决策需建立在独立思考之上,本文内容仅供参考,不作为实际操作建议,交易风险自担。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 安全漏洞 费城 审计 资本市场
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论