导语：机器人身份只解决 " 你是谁 "，AI 抓取时代的真正门槛变成 " 你是否长期守规矩 "。

摘要

Cloudflare 提出：验证 " 谁在运营 " 能带来问责，但信任取决于它接下来做什么。成为 Cloudflare 已验证机器人需满足三条标准——准确安全地表明身份、只做声明中会做的事、不从事滥用行为。新系统持续衡量爬虫是否尊重站点偏好（是否遵守 robots.txt、收到 429 后是否降速），并把观察结果转化为 " 可解释的信任区间 "，即一个反映一致性与依据行为的范围，而非对机器人或其运营方的永久判定，未来将在 Radar 上公开。Cloudflare 举例称，2025 年曾因 Perplexity 在站点拒绝抓取后仍试图绕过控制，将其移出已验证名单。

正文（译文）

驾驶执照告诉你一个人是谁、以及他通过了驾驶考试，但不保证他未来会负责任地开车。机器人也是如此：验证运营方身份能建立问责，但信任取决于它下一步做什么。一个已知身份的机器人仍可能无视网站偏好、压垮源站，或规避控制措施。这并不总是出于恶意——很多时候只是配置错误或一个 bug。

正如我们在此前一篇关于机器人行为的博客文章中所说，我们力求验证两个问题：" 你是你所声称的那个人吗？" 以及 " 我们能信任你吗？" 要成为 Cloudflare 已验证机器人，大体需要满足三条标准：

机器人使用 Web Bot Auth 对请求签名以确立身份，随后由 BotBase 以开放格式编目。身份问题解决之后，我们的重心就转向已验证机器人的第二条基本准则：不得造成伤害。

今天我们推出一套系统，用以评估并报告已验证机器人的行为何时开始偏离这条准则，确保 " 我们能信任你吗？" 这个问题的答案始终是 " 能 "。

这时，风险与信任之间的区分就变得重要：

例如，我们在 2025 年把 Perplexity 的机器人从已验证机器人名单中移除，因为它试图访问那些已选择不参与抓取的网站资源，并在这些请求被拦截后试图绕过控制措施。

不从事滥用行为

这条简单的要求听起来像是白送的，但这句话里有很多细微之处。当爬虫不尊重站点偏好时，信任就会被削弱。当站点要求爬虫不要抓取或放慢速度，而爬虫无视这些要求时，信任同样会被削弱。

我们开发了一套系统，衡量爬虫尊重站点偏好的频率。这些观察结果将转化为一个可解释的信任区间：一个显示机器人尊重站点偏好一致性程度的范围，以及是哪些观察到的行为支撑了这一评估，而不是对某个机器人或其运营方的永久判定。我们评估的初始信号包括：

我们认为这些是 " 常识性 " 规则，是对那些提供了机器人所寻求信息的站点运营方的一种礼貌。未来，我们将在 Radar 上公开这些评分，并拓展衡量方式。这个评分让负责任的机器人运营方有了一种方式，来证明自己的信任是经得起时间检验的。验证，然后持续重新验证。

入乡随俗

robots.txt 文件是传达站点所有者偏好的主要方式。我们的系统会考虑一个机器人观察到的流量，是否随时间推移与其公开的偏好保持一致。

robots.txt 会告知所有（或特定）机器人只抓取网站的特定部分。偶发的违规和其他一次性的情况可能并不重要。我们关注的是那些无视站点偏好的反复出现的行为模式。我们的期待很简单：负责任的机器人应当查阅并遵守网站公开的偏好，这符合 RFC 9309 的要求。

需要明确的是，robots.txt 设定的是机器人与智能体 " 不应做什么 " 的最低规则，并不意味着未列明的事情就是被允许的。举例来说，robots.txt 不需要写明 " 当站点通过其他信号表明继续访问不受欢迎时，机器人必须停止 "。

己所不欲，勿施于人

机器人完全可以停留在允许的路径范围内，却仍给所访问的网站带来可观负载。网站最明确的反击方式之一就是返回 HTTP 429（" 请求过多 "）。429 是要求访问者降低请求速率的指令，有时还会附带在多久之后可以重试的指引。

我们的系统会考虑机器人在收到该信号后其流量是否作出调整。它是放慢速度、暂停，还是继续以同样的节奏发送请求？随后我们把这一行为随时间纳入该机器人的信任区间：持续降速或暂停会提升信任，而反复无视该信号则会降低信任。

随时间建立信任

观察这些信号只是让已验证自动化在长期内可被问责的第一步。通过把机器人身份与持续行为的证据配对，我们可以让站点所有者更放心地相信，他们选择放行的机器人正在尊重自己的偏好；给机器人运营方一种方式来证明自己配得上这份信任；并向网站所有者提供关于抵达其站点的自动化流量的背景信息。

这套系统与 Bot Preference Sync、Bot Management 一起，构成了面向自动化流量的问责闭环。Bot Preference Sync 帮助网站所有者发布自己的偏好，而观察机器人如何与这些偏好互动，则能显示已验证机器人是否在长期内始终遵守它们。Bot Management 让网站所有者决定如何处理这些流量。三者共同确保信任是通过透明、可问责的行为赢得的，而不是仅凭身份就被假定。

我们已经在内部使用这套系统，评估已验证机器人遵守网站偏好一致性的程度。由于信任是随时间建立的，我们评估的是持续的模式而非孤立事件。我们正利用这一初始阶段积累历史数据，并打磨如何把这些观察转化为有用的指引。在这一基础上，我们计划把该系统开放给所有 Cloudflare 客户，届时他们将能够选择用何种信任阈值来决定如何处理已验证机器人的流量。我们的目标很直接：让网站偏好保持有效，并确保信任是由持续的行为赢得的。

想了解更多处理机器人的方式？Cloudflare 客户现在已经可以用 Bot Management 管理自动化流量，用 Bot Preference Sync 把公开的偏好与已配置的策略对齐。要探索不断壮大的已验证机器人群体，请查看 Radar 上的趋势。

如果你有兴趣参与构建机器人身份与问责的未来，欢迎了解 Cloudflare 的开放职位。

（文章为作者独立观点，不代表艾瑞网立场）