WebWalker：深入挖掘网站深层内容的新工具

针对传统搜索引擎难以深入挖掘网站深层信息的问题，通义实验室和东南大学研究团队提出了WebWalker。WebWalker通过模拟人类点击操作，深入挖掘网站内部信息，适用于网页信息检索助手或集成到RAG系统中。研究团队定义了Web Traversal任务并设计了WebWalkerQA基准测试，包含680个高质量问答对。WebWalker框架由Explorer Agent和Critic Agent组成，能够高效处理长文本信息和复杂逻辑。实验结果表明，在处理长上下文理解的网页探索任务上，WebWalker优于ReAct和Reflexion框架。此外，WebWalker与RAG系统的结合在信息检索问答任务中展现出强大效果，强调了网页信息获取任务中深度、垂直探索的重要性。
来源：https://mp.weixin.qq.com/s/Y-yGC6sobN0WITMayKcfzg