OpenAI疯狂爬虫，把一家公司都给爬宕机了，CEO：堪比DDoS

OpenAI的GPTBot疯狂爬虫导致7人团队公司Triplegangers网站宕机，其拥有65000多种产品页面，OpenAI使用600多个IP地址抓取数据，引发CPU和数据下载活动剧增，导致AWS开销大幅增长。Triplegangers的数据为高质量“人类数字孪生”数据库，对3D艺术家等有重要价值，但未正确配置robots.txt文件。此类事件并非孤例，AI爬虫在2024年导致“一般无效流量”增加86%，大模型公司为获取高质量训练数据加快收集速度，给小型企业带来巨大压力。
来源：https://mp.weixin.qq.com/s/l0Jvuwhnko_w6qG-dTV16g