日前,网络服务商 Cloudflare 宣布推出一项名为 AI Labyrinth(AI 迷宫)的全新功能,旨在利用 AI 生成的内容,干扰不遵守 " 禁止爬取 " 声明的 AI 爬虫及其他恶意爬取机器人,从而消耗相关恶意爬虫资源。
据了解,在运行方式上,当检测到恶意爬虫活动时,AI Labyrinth 将通过设置人类用户无法察觉的隐藏链接,把恶意爬虫引入由 AI 生成的虚假页面,从而消耗其时间和资源,并且无需客户创建任何自定义规则。
Cloudflare 方面指出,近年来 AI 公司用来抓取模型训练数据的新爬虫数量激增,目前 AI 爬虫每天向 Cloudflare 网络发出超过 500 个请求。
Cloudflare 方面表示,虽然其有多种工具可以识别和阻止未经授权的 AI 爬虫,但阻止恶意爬虫也意味着在提醒攻击者其已经被发现,从而引发无休止的反爬与爬取对抗。而 AI Labyrinth 则通过巧妙的方式让爬虫误以为获取了真实内容。这一策略不仅有效干扰了恶意爬虫,还为其提供了更多关于这些爬虫行为特征的数据,从而进一步提升了机器人识别的能力。
据了解,AI Labyrinth 将面向向包括 Cloudflare 免费客户在内的全部使用者提供。
对此 Cloudflare 方面表示," 这只是我们使用生成式 AI 来阻止恶意爬虫的第一次迭代。目前,虽然我们生成的内容令人信服地符合人类的思维,但它并不符合每个网站的现有结构。未来我们将继续努力使这些链接更难被发现,并使它们无缝融入其所嵌入网站的现有结构 "。
【本文图片来自网络】
登录后才可以发布评论哦
打开小程序可以发布评论哦