当 AI 聊天机器人、AI 搜索受到越来越多用户的青睐，AI 厂商与内容创作者的矛盾已然不可调和，AI 时代的流量争夺战迎来了全线升级，"AI 摘要 " 劫持流量更是成为内容创作者拒绝接受的现实。这时候，云服务提供商 Cloudflare 选择与内容创作者站在一起，不久前宣布将默认阻止 AI 爬虫在未经网站所有者许可或补偿的情况下抓取其内容。

为了实现这一愿景，Cloudflare CEO 马修 · 普林斯透露目前正在与谷歌进行谈判，要求后者将传统搜索引擎的爬虫与 AI 爬虫分离，使得网站可以按照自身需求决定是否屏蔽 AI 爬虫、以避免自己的内容被抓取后生成 AI 摘要。Cloudflare 方面声称，如果最终的结果是谷歌拒绝分离爬虫，他们将考虑推动立法来强迫对方必须分离。

那么 Cloudflare 凭什么与谷歌谈条件呢？这是因为作为 CDN 提供商，他们的竞争力来源于在全球拥有超过 152 个数据中心构成的专用高容量光纤网络，为全球用户提供了一个低成本、乃至免费接入公开网络的能力。到目前为止，全世界有 20% 的互联网流量都经过了该公司的网络代理，他们也是现在全球最大规模的对等连接网络（P2P 网络）之一。

活跃在 Cloudflare 网络上的成百上千万个网站和 App 就是他们的底气，但仅凭这一点就想让谷歌屈服也不现实。毕竟 AI 搜索是谷歌的未来，一旦 AI 爬虫无法抓取内容，它的市场竞争力就势必会断崖式下降。事实上，以 The Information 为代表的海外科技媒体也不太看好 Cloudflare，他们认为 Cloudflare 显然无法阻止谷歌从网站上抓取数据、用于其 AI 产品。

再加上推动立法来强制谷歌分离 AI 爬虫需要动辄数年时间，即便真的等到立法完成，估计许多网站和内容创作者已经被 AI 厂商 " 赶尽杀绝 "。

既然如此，为什么 Cloudflare 要做这种近乎于行为艺术的操作呢？答案是他们其实就是在作秀，并且从一开始就不是为了给内容创作者伸张正义，而是为了自己的 Pay Per Crawl 平台。

Pay Per Crawl 是 Cloudflare 推出的一个交易市场，为内容创作者和 AI 厂商提供了一个撮合交易的场景。为了 Pay Per Crawl，早在一年前 Cloudflare 就宣布，为使用其服务的网站提供 AI 审计工具 ( Cloudflare AI Audit )  ，向网站站长报告 AI 厂商的爬虫何时访问网站、抓取数据的 IP 地址、抓取频次，以及其他相关数据。

要知道一个交易平台想要成功，买卖双方的认可才是关键。可现在的情况是作为卖方的内容创作者、网站站长对于 Pay Per Crawl 有着迫切的需求，可买方 AI 厂商则不然。

在目前的条件下，一般的网站其实很难抵御 AI 爬虫的抓取，只能提供 " 软约束 " 的 robots.txt 更是已经成为废纸。同时 AI 直接将内容浓缩为摘要的行为，让用户根本就不需要点击原文，从而导致了网站的流量下降、广告收入锐减。

根据 Cloudflare 本月初发布的的最新统计数据显示，谷歌搜索的爬虫大约每 6 至 7 次抓取会给网站带回 1 次点击，而 OpenAI 的爬虫 GPTBot 则是 1500 次才能换来 1 次跳转，Anthropic 的爬虫 ClaudeBot 效率更低，达到了 73300 次换 1 次。显而易见，AI 大厂与内容创作者之间基于内容创作、分发和广告 / 订阅收入的商业模式，已经被动摇。

可是已经习惯免费爬取内容的 AI 厂商即便是想付钱，显然也不愿意让 Cloudflare 作为中间商赚差价。事实上，为了应对 AI 搜索可能会给网站带来的冲击，谷歌已经推出了 Offerwall 工具，允许站长为网站的用户提供多种内容访问方式，诸如小额支付、参与调查、观看广告等选项都可以选择。

不同于按次付费爬取的 Pay Per Crawl，Offerwall 实现付费的方式是让网站直接通过向用户兜售小额支付，以获得数天的内容访问权，或者通过激励广告的形式变现。简而言之，对于 AI 时代的内容付费，Cloudflare 选择了流量变现模式，谷歌则走的是付费订阅。

不难发现，对于用户为内容付费这件事，流量变现和付费订阅是非此即彼的关系。因为内容创作者不可能将一份内容变卖两次，选择 Offerwall 就意味着拒绝 Pay Per Crawl。所以 Cloudflare 为了把 Pay Per Crawl 做起来，必须尽一切可能让更多人知道该他们正在为内容创作者 " 主持公道 "。

【本文图片来自网络】