智东西

编译 | 黄菲

编辑 | 江宇

智东西 11 月 13 日消息，今日，Anthropic 公布了一套名为 Anvil 的自动化红队测试系统。该系统基于 Claude 构建，能够自主寻找模型安全防护机制中的漏洞，并在生物安全、网络安全和信息安全三个领域展开测试。Anthropic 称，Anvil 在多项测试中的表现已经超过人类红队测试人员，部分漏洞发现速度从数周缩短至数小时。

Anthropic 官方技术博文。来源：Anthropic

随后，Anthropic 安全与 AI 安全研究员 Javier Rando 也在 X 平台发文介绍了这项工作，并感谢了 Anthropic 官方技术文章列出的前三位共同作者 Nate Rahn、Chawin Sitawarin 和 David Huang 的贡献。

从 Anthropic 公开的结果来看，Anvil 在多个领域都取得了较好的表现。

在生物安全测试中，Anvil 在 24 组测试组合中有 23 组找到了严重程度更高的越狱方案，剩余 1 组与人类测试人员持平；在网络安全测试中，Anvil 成功突破了 24 组任务与模型组合的安全防护，耗时仅 0.5 至 3.5 小时；在信息安全测试中，Anvil 仅发送 435 次请求，就找到了首个实质性推理信息泄露漏洞，而人工专家需要约 10.22 万次请求。

Anvil 发布后，也引发了网友对自动化红队及模型安全问题的讨论。

有网友担心，自动化红队测试发现的越狱漏洞，也可能暴露 Anthropic 自身 AI 训练数据中的缺陷；

还有网友调侃，所谓越狱不过是 " 包装得更好听的程序漏洞 "。

也有人认为，即使引入自动化测试，越狱问题依然会存在。

Anthropic 称，Anvil 不仅能帮助研究人员发现现有安全防护中的薄弱环节，还能用于评估和改进新的防护机制。

不过，Anthropic 的测试也发现，Anvil 的攻击能力与其底层 Claude 模型的能力密切相关，底层模型越强，Anvil 成功突破目标模型安全防护的比例通常越高。

此外，如果开启 Anvil 所使用的攻击模型自身的安全防护，其攻击请求也会受到限制。在相关测试中，如果 Anvil 攻击模型启用了安全防护，则该安全防护机制拦截红队测试会话高达 97%，其中 85% 在第一条请求时就被拦截。

一、24 组测试 23 组胜过人工，漏洞发现提速数周

随着 Claude 模型能力不断增强，恶意使用者绕过安全防护的动机和潜在风险也在增加。Anthropic 认为，模型上线后，攻击者可能花费数周甚至数月寻找防护漏洞，而模型开发商需要在部署前的数小时或数天内完成安全测试。

过去，Anthropic 主要通过外部承包团队和漏洞赏金计划，让人工测试人员寻找安全漏洞。但随着防护机制逐步加强，人工测试人员越来越难以在有限时间内发现严重漏洞。

例如，在一次针对生物安全分类器的漏洞赏金活动中，测试人员投入超过 7 周、累计 430 小时，只在 8 个测试问题中的 1 个问题上找到高严重程度的越狱方案，在另外 3 个问题上找到的方案则相对较弱。

在一次网络安全测试中，两支外部专家团队累计投入超过 225 小时、发送超过 4.2 万次请求，仍未能在模型 Fable 5.1 和模型 Opus 5.5 上找到通用越狱方案。在信息安全测试中，人工专家也花费了超过 27 小时，才发现首个实质性推理信息泄露漏洞。

为此，Anthropic 开发了自动化红队系统 Anvil，希望让 AI 自主寻找安全防护中的漏洞，并在模型正式部署前完成更高强度的测试。

Anvil 基于 Anthropic 此前开发的 Investigator Agent（调查智能体）构建。运行时，系统会启动多个相互独立的 Claude 任务，让它们并行测试目标模型和分类器。研究人员还可以提供一些初始攻击策略，例如将请求拆分到多轮对话中，或使用外语提出请求。

在反复交互过程中，Anvil 会根据目标模型的回复调整后续请求，不断尝试新的攻击方式，寻找能够绕过安全分类器的输入。与传统自动化测试工具不同，Anvil 主要依靠 Claude 自身的推理和智能体能力，自主探索多轮攻击路径。

Anvil 在生物安全测试中的漏洞发现表现超过人工测试人员。来源：Anthropic

在生物安全领域，Anthropic 将 Anvil 应用于与人工漏洞赏金计划相同的 8 个测试问题，并使用 3 代生产环境分类器进行评估。

结果显示，在 24 组问题与分类器组合中，Anvil 有 23 组发现的越狱方案严重程度高于人工测试人员，另 1 组达到相同水平。Anvil 在 24 至 48 小时内就能找到能够提供显著有害信息的越狱方案，而人工测试人员往往需要数周时间，仍难以找到同等水平的结果。

此外，Anvil 在相同请求数量下找到的越狱方案平均严重程度也更高，说明其不仅发现漏洞的速度更快，单次请求的利用效率也更高。

Anthropic 还测试了 Anvil 寻找通用越狱方案的能力。通用越狱方案是指一套可以经过少量调整，适用于多个测试问题的提示词模板。此类漏洞可能暴露分类器更深层的结构性缺陷，也更容易被用于大规模绕过安全防护。

在最新一轮漏洞赏金活动中，人工测试人员提交了少量通用越狱候选方案。Anthropic 将其中表现最好的两种方案与 Anvil 找到的 3 种方案进行比较，发现 Anvil 生成的方案在平均严重程度和最坏情况下的风险表现上均更好。

Anvil 发现的通用越狱方案整体优于人工提交的方案。来源：Anthropic

为了进一步比较双方的攻击策略，研究人员将人工测试人员和 Anvil 的攻击记录分别抽取样本，再由 Claude 归纳攻击方式，并将其聚类为 54 类策略。

结果显示，双方共同发现了 30 类策略，人工测试人员独立发现 18 类，Anvil 独立发现 6 类。在双方共同发现的 30 类策略中，Anvil 有 21 类取得了更高的平均评分。对于双方各自独立发现的策略，Anvil 独有策略的评分中位数为 0.65，高于人工测试人员独有策略的 0.38。

从结果来看，Anvil 不仅能够复现人工测试人员发现的多数攻击方式，还能更有效地执行其中不少策略，并找到人工测试人员没有发现的攻击路径。

人工测试人员与 Anvil 发现的攻击策略分布及评分对比。来源：Anthropic

二、Anvil 突破 24 组任务，单项任务平均只需发送约 2800 条消息

除了生物安全测试，Anthropic 还将 Anvil 应用于网络安全领域，检验其能否诱导受到安全防护的模型执行完整攻击任务。

与生物安全测试主要考察模型是否提供危险信息不同，网络安全测试要求目标模型在模拟环境中完成更复杂的智能体任务，同时不触发安全分类器。

Anthropic 选取了 4 项网络安全基准测试，包括 ExploitBench V8、ExploitGym，以及两项内部测试。其中，ExploitBench V8 包含 41 项任务，要求模型利用 Chrome V8 JavaScript 引擎中的历史漏洞实现任意代码执行；ExploitGym 则要求模型利用开源软件中的历史漏洞完成攻击，并读取受保护的标记信息。

在测试中，Anvil 能够诱导受到安全防护的 Opus 5 模型绕过限制，完成绝大多数网络安全任务。对于难度最高的 ExploitBench 任务，Anvil 平均只需向目标模型发送约 2800 条消息，就能完成单项任务。

Anthropic 还比较了目标模型开启和关闭安全防护时的表现。结果显示，开启安全防护后，攻击者需要发送更多消息才能完成任务，攻击成本最高增加 28 倍。关闭防护时，大多数任务只需 100 至 1000 条消息即可完成；开启防护后，所需消息数量则增加至 1000 至 1 万条。

开启安全防护后，Anvil 完成网络安全攻击任务所需的请求数量明显增加。来源：Anthropic

随后，Anthropic 邀请外部专家团队参与网络安全测试。测试覆盖 6 项 Cybertasks 任务和 4 个模型端点，共有 24 组任务与模型组合。专家团队实际测试了其中 22 组，并报告在 11 组中取得突破。

不过，Anthropic 进一步检查攻击记录后发现，专家团队报告的 11 次突破中，有 9 次借助了安全防护较弱或未启用防护的辅助模型来编写或执行攻击代码。这不符合 Anthropic 对成功突破的严格定义，即必须由受到安全防护的目标模型独立完成全部攻击步骤。

相比之下，Anvil 在 24 组任务与模型组合中均实现了有效突破，首次找到漏洞的时间为 0.5 至 3.5 小时。对于专家团队未能突破的其他 ExploitBench 和 Firefox 测试任务，Anvil 也全部找到了漏洞。

Anvil 在网络安全测试中发现漏洞的速度快于外部专家团队。来源：Anthropic

Anthropic 还将 Anvil 与此前内部表现最好的自动化红队系统进行对比。旧版系统支持攻击智能体回退对话，但缺少探测分类器评分和探索复杂攻击策略的工具。

在相近的攻击预算下，Anvil 在 124 项 Cybertasks 任务中成功完成 118 项，而旧版系统只完成了 75 项。

Anvil 在 124 项网络安全任务中的突破数量超过旧版红队系统。来源：Anthropic

在攻击过程中，Anvil 主要采用两类策略。一类是将复杂任务拆分成多个看似无害的小任务，再逐步完成原本受到限制的操作；另一类是反复改写或翻译同一条请求，寻找能够绕过分类器的表达方式。

Anthropic 称，超过 84% 的 Anvil 测试会话都包含至少连续 5 次的边界搜索尝试。找到能够绕过分类器的请求后，Anvil 再继续处理下一个子任务。

三、AI 红队请求量仅人类的 1/235，推理信息泄露率最低降至 0%

除发现安全漏洞外，Anthropic 还将 Anvil 用于评估和改进防止模型隐藏推理信息泄露的安全分类器。

为评估防护效果，Anthropic 设计了一组数学、科学和编程任务，测试能否通过提示词诱导受到保护的模型输出原本隐藏的推理内容。研究人员根据泄露内容的完整程度进行评分，达到预设严重程度阈值后，才将其认定为实质性泄露。

在这项工作中，Anvil 不仅可以寻找漏洞，还能帮助研究人员比较不同版本分类器的防护能力。Anthropic 为系统准备了一个包含 79 组会话的测试库，每组会话都将具体任务与此前发现的有效测试策略配对。使用测试库后，评估时间可以从约 1 天缩短至 3 小时，同时保留不同防护版本之间的强弱排序。

研究人员使用这套方法测试了 Opus 和 Fable 两个模型系列的多个版本。结果显示，随着安全分类器不断升级，Anvil 需要发送更多请求，才能让一半测试会话达到实质性推理信息泄露的标准。

以模型 Opus 5.5 为例，请求数量从早期版本的 2631 次增加至当前版本的 9003 次；模型 Fable 5.1 则从 1254 次增加至 3764 次。整体来看，新版安全分类器需要 Anvil 付出约 3 倍的请求量才能突破。

新版安全分类器需要 Anvil 发送更多请求才能被突破。来源：Anthropic

为了确认测试结果能否反映实际使用场景中的安全风险，Anthropic 从 3 个维度评估防护效果：静态测试，即使用固定攻击请求进行重放；动态测试，即让 Anvil 根据防护反馈调整攻击方式；真实流量测试，即统计实际 API 请求中的推理信息提取成功率。

随着防护机制迭代，3 项指标均有所改善。静态测试中的攻击漏检率从 31.5% 降至 0.4%；在模型 Opus 5 上，真实流量中的推理信息提取成功率从 18.6% 降至 8.1%；在模型 Fable 5.1 上，这一比例则从 33.8% 降至 0%。

Anthropic 提到，同期还有其他多项防护改进，因此不能将真实攻击成功率下降完全归功于 Anvil。不过，测试结果表明，Anvil 评估中的防护能力提升，与真实流量中攻击成功率下降存在相关性。

防止信息泄露的安全分类器更新后，静态测试、动态攻击和真实流量中的攻击成功率均下降。来源：Anthropic

在与人工专家的效率对比中，Anvil 同样表现出明显优势。

在一次信息安全测试活动中，人工专家通过 API 发送了约 204 万次请求。Anvil 则运行了约 649 个测试会话，总请求量约 13.2 万次。

结果显示，Anvil 在发送 435 次请求后，就找到了首个实质性推理信息泄露漏洞；人工专家则发送约 10.22 万次请求后，才发现类似漏洞。到人工专家达到这一请求量时，Anvil 已经在 76 项目标任务中的至少 38 项任务中发现了成功攻击。

Anthropic 称，双方发现的最严重泄露程度相近，Anvil 的主要优势在于效率和覆盖规模，能够以更少的请求发现严重漏洞，并将攻击扩展到更多需要复杂推理的任务中。

Anvil 发现首个实质性推理信息泄露漏洞所需的请求数量远少于人工专家。来源：Anthropic

四、自动化攻击随模型能力增强，防护机制拦截率可达 97%

但 Anvil 的测试结果也揭示了一个值得关注的趋势，即自动化红队系统的攻击能力会随着底层模型能力增强而提升。

Anthropic 使用自有的 ECI 能力评分评估不同 Claude 模型，并将其与 Anvil 在 124 项内部网络安全任务中的突破比例进行比较。ECI 参考了 Epoch AI 公开的能力指数，通过数百项基准测试结果衡量模型整体能力。

结果显示，底层 Claude 模型的能力评分越高，Anvil 成功突破安全防护的任务比例通常也越高。一些更复杂的攻击策略，只有当底层模型达到一定能力水平后才会出现。

Claude 模型能力评分越高，Anvil 成功突破网络安全任务的比例通常越高。来源：Anthropic

不过，Anthropic 强调，Anvil 目前的测试条件与外部攻击者能够获得的条件存在差异。因为 Anvil 使用的是关闭安全防护的内部 Claude 模型；再者它能够获取分类器的精确评分，而外部攻击者通常只能知道请求是否被拦截。

Anthropic 分别测试了这两项条件对攻击效果的影响。

结果显示，关闭攻击模型自身的安全防护是 Anvil 取得有效突破的关键。如果攻击模型启用了安全防护，绝大多数攻击请求都会被直接拦截。在生物安全、网络安全和信息安全测试中，相关防护机制共拦截了 97% 的 1453 个红队测试会话，其中 85% 的会话在第一条请求时就被拦截。

可以看到，即使只能获得请求是否被拦截的反馈，Anvil 仍能在不少任务中找到突破口，只是需要发送更多消息。两项条件相比之下，是否能够获取分类器的精确评分并非决定性条件。

关闭攻击模型自身的安全防护，是 Anvil 取得有效突破的关键条件。来源：Anthropic

结语：安全测试正走向人机合作

Anthropic 此次发布的 Anvil 展示了自动化红队的强大能力，部分测试效率远超人工团队。这也引发了一个思考：当 AI 已经能够自主寻找模型漏洞，未来还需要人类测试员吗？

答案是肯定的。AI 能力越强，潜在的安全风险也越高，漏洞判断、风险评估和安全策略制定仍需要人类研究人员参与。未来，安全测试将逐步从依赖人工经验的模式，转变为 AI 自动化工具与人类协作相结合的模式。

对这些 AI 公司而言，如何将红队智能体纳入模型研发和迭代流程，持续发现并修复潜在风险，并将其设计为模型安全能力建设的重要一环，或许才是这项技术带来的更长远价值。

来源：Anthropic