微软发布Deep Video Discovery智能体，长视频理解准确率74.2%创纪录
针对大型语言模型和视觉-语言模型在处理长视频时的局限性，研究人员提出了名为 Deep Video Discovery (DVD) 的智能体框架。该系统通过将长视频拆分为短片段并构建多粒度数据库，结合 LLM 的推理能力与三种搜索工具（全局浏览、片段搜索、帧检查），实现自主式视频内容理解。在 LVBench 数据集上，DVD 取得了 74.2% 的准确率，显著优于 MR. Video 和 VCA 等先前模型，最高在辅助转录下达到 76.0%。研究表明，LLM 的推理能力是智能体行为稳定性的关键因素，使用 GPT-4o 等非强推理模型会导致性能下降。该工作将以 MCP Server 形式开源，为未来智能体研究提供参考。来源：https://mp.weixin.qq.com/s/zIl8FSqWXbdwOaMPAR1uUA
页:
[1]