Cloudflare用AI迷宫对抗肆意爬虫

Cloudflare启用AI技术对抗肆虐的AI爬虫，保护网站数据。乌克兰公司Triplegangers和iFixit分别遭遇OpenAI与Anthropic爬虫的无节制抓取，Perplexity甚至公然违反robots.txt规则。这些事件反映出AI爬虫对内容创作者权益的威胁。传统robots.txt协议已难以约束当前爬虫行为，Cloudflare通过构建“AI迷宫”迷惑爬虫，为数字内容保护提供新思路。
来源：https://www.chinaz.com/2025/0324/1676467.shtml