AI爬虫如狼似虎，维基百科已经选择认怂

维基媒体基金会因AI厂商爬虫带来的带宽压力，选择与谷歌Kaggle合作，发布专门优化的机器学习数据集。该数据集采用易于解析的JSON格式，旨在吸引AI厂商减少直接抓取维基百科内容的行为，从而缓解基金会的服务器负担。与此同时，美国新闻/媒体联盟呼吁科技巨头为AI产品使用的内容付费，而知乎等商业平台则在用户体验与反爬虫之间权衡。这反映出全球内容平台在AI时代的共同困境。
来源：https://www.chinaz.com/2025/0429/1683256.shtml