Meta部署新网络爬虫机器人，为其AI模型收集大量数据

Meta近期悄然推出了名为Meta External Agent的新网络爬虫工具，该工具与OpenAI的GPTBot类似，旨在抓取网络数据以支持人工智能模型训练。尽管Meta在7月底更新了开发者网站以展示这一工具，但尚未正式对外公布。这表明即便拥有庞大数据库的Meta也需要获取更多高质量数据来持续优化其AI模型，特别是其大型语言模型Llama系列。目前，仅有少数网站屏蔽了该新爬虫。
来源：https://tech.ifeng.com/c/8cDqaKeEA4B