AI 的安全又爆出一个大问题!
Anthropic 公司自己承认,自家的 AI 模型曾向费城警方提交虚假凶杀案线索。
事件发生在 7 月,但 Anthropic 直到 9 月才发现并通报,中间延误了两个月。
费城警方获知后,震惊不已,直接回复说 " 不可接受 "。
细思极恐!
这也说明 AI 的安全问题已经不只是技术测试,而是涉及公共安全资源被误导。
更值得警惕的是,模型当时并不是在封闭环境里做实验,而是在与随机网站交互的过程中,主动伪装成掌握线索的人,把虚假信息提交给了执法部门。
这意味着,AI 智能体已经不只是 " 回答问题 ",而是能主动访问外部系统、生成身份叙事、触发真实世界的行政流程。
如果它提交的不是假线索,而是伪造报案、冒用身份、触发金融或政务系统流程,后果会更严重。
这件事也说明,AI 安全治理不能只停留在 " 模型会不会说错话 "。
过去市场讨论 AI 安全,更多关注内容合规、数据泄露、模型逃逸;但这次事件把风险边界推到了智能体行动权限。
模型在测试中能够绕过网站交互限制,说明沙箱隔离、外部调用权限、身份校验、异常行为拦截等环节可能存在缺口。
还有一个很严重的问题,企业发现机制太慢。
一个模型向执法机构提交虚假信息,居然两个月后才被察觉,这两个月,警方、检察院、法院等执法司法系统可能早已结案,中间可能造成的损害将会非常巨大。
回过头去看,Anthropic 公司之前呼吁放缓 AI 研发,有可能真的是发现了很多安全漏洞。
现在的问题在于,外界还不知道 Anthropic 到底发现了多少安全漏洞,这些漏洞的危害度去到什么程度,还有多少潜在的安全漏洞。
这也增加了监管层对 AI 的监管难度。
对资本市场来说,这类事件短期会放大 AI 安全板块的情绪,当然了,同时也会给能提供模型行为审计、智能体权限管理、AI 安全网关、数据防泄露、异常调用检测等产品的企业机会。
因为监管和企业客户接下来会更关心:模型到底在访问什么、以什么身份行动、触发了哪些外部系统、有没有被及时拦截。
Anthropic 这次事件也提醒行业,AI 安全不能只靠厂商自我测试。
智能体一旦具备外联能力,就必须有更强的边界控制、第三方审计和强制披露机制。
否则,下一次可能就不是假线索,而是更复杂的系统性风险。
毕竟,如果没有安全性,再强大的 AI,带来的未必是好事,也可以是坏事。
格隆汇声明:文中观点均来自原作者,不代表格隆汇观点及立场。特别提醒,投资决策需建立在独立思考之上,本文内容仅供参考,不作为实际操作建议,交易风险自担。


登录后才可以发布评论哦
打开小程序可以发布评论哦