周大 发表于 2025-4-29 14:17:32

AI爬虫如狼似虎,维基百科已经选择认怂

维基媒体基金会因AI厂商爬虫带来的带宽压力,选择与谷歌Kaggle合作,发布专门优化的机器学习数据集。该数据集采用易于解析的JSON格式,旨在吸引AI厂商减少直接抓取维基百科内容的行为,从而缓解基金会的服务器负担。与此同时,美国新闻/媒体联盟呼吁科技巨头为AI产品使用的内容付费,而知乎等商业平台则在用户体验与反爬虫之间权衡。这反映出全球内容平台在AI时代的共同困境。
来源:https://www.chinaz.com/2025/0429/1683256.shtml
页: [1]
查看完整版本: AI爬虫如狼似虎,维基百科已经选择认怂