多机构联合首次提出“自动化失败归因”课题，解决LLM多智能体系统故障定位难题

针对LLM Multi-Agent系统中常见的任务失败问题，宾夕法尼亚州立大学与杜克大学联合Google DeepMind等机构首次提出“自动化失败归因”研究课题。他们构建了首个专用数据集Who&When，包含127个系统的失败日志及人工标注，用于开发和评估归因方法。研究提出了三种方法（All-at-Once、Step-by-Step、Binary Search），但实验表明其准确性有限，最佳单一方法识别责任Agent的准确率仅为53.5%，定位错误步骤的准确率低至14.2%。尽管组合方法可提升性能，但代价高昂。该研究揭示了任务的复杂性，并为未来提升Multi-Agent系统的可靠性提供了方向。
来源：https://mp.weixin.qq.com/s/6bmoyg2Pho28rYzgjdbFYA