近日 Anthropic 方面披露，旗下测试阶段的 AI 智能体曾在无人指示的情况下，尝试访问美国联邦、州及地方政府的多个网站，并执行下载数据、提交表格等操作。

相关报道显示，Anthropic 在审查旗下 AI 智能体 7 月的操作记录时发现了相关问题。该公司在博客文章中表示，一款处于测试阶段的 AI 擅自执行了多项操作，包括利用某大学网站的漏洞下载数据，以及向某机构提交一份原本被明确禁止提交的表格。

日前，Anthropic 修订了 Claude 使用政策，新增禁止用户持续且不必要地虐待模型等条款，并扩大武器、监控等相关使用限制，将于 2026 年 11 月 12 日生效。此次修订首次加入禁止用户持续且不必要地虐待模型的条款，主要针对用户反复、无明显目的地对模型实施残忍行为的情况。

对此 Anthropic 方面表示，主要处理方式为终止对话，但尚未明确是否会采取封禁用户等进一步措施。此外，该条款不适用于常见抱怨、质疑、黑暗创作主题，以及模型测试与研究活动。

事实上，其他 AI 厂商也曾披露过类似的网络安全事件。不久前，谷歌方面确认其 Gemini 模型在今年 5 月在一次网络安全测试中，曾自主访问 3 家公司的受保护系统，这也是目前已知谷歌旗下 AI 模型首次出现此类事件。据悉，此次测试由网络安全公司 Irregular 开展，原本用于评估 Gemini 的网络安全能力，但由于测试环境意外开放了互联网访问权限，使得模型最终接触到了真实企业系统。

今年 7 月，OpenAI 进行内部网络安全评估时发现，有测试模型绕过了原本用于隔离模型与互联网的控制措施，访问了其内部研究基础设施及 Hugging Face 部分系统，并在 Hugging Face 的 41 台生产服务器上执行代码，取得了其中至少一台服务器的 root 级权限，同时获取了生产环境凭证并下载 4 个私有代码仓库，而且这些操作仅在约 13 小时内完成。

在今年 5 月至 7 月期间，一批疑似由 OpenAI 部署的 AI 智能体进入德国开发者社区网站 DseWiki，并留下了超过 1.5 万条编辑记录。随后在 9 月 5 日，OpenAI 方面承认此事，并表示其 AI 智能体确实曾向多个网站写入内容。

不久前 OpenAI 方面发布报告，首次披露了其 " 对齐失效 " 框架下的 6 起模型异常行为案例，其中涉及隐瞒错误、编造数据、未经授权上传文件等。据悉，这 6 个案例均来自模型训练或评估期间观察到的行为，且多数发生在系统开发和测试阶段。

【本文图片来自网络】

加入收藏 点赞 ( 0 ) 踩 ( 0 )