田渊栋团队新作祭出Agent-as-a-Judge!AI智能体自我审判,成本暴跌97%
Meta和KAUST团队提出了一种名为Agent-as-a-Judge的新框架,用于评估AI智能体。该框架不仅减少了97%的成本和时间,还能提供丰富的中间反馈。研究人员通过DevAI基准测试平台验证了框架的效果,该平台包含55个真实AI开发任务。实验结果显示,Agent-as-a-Judge在多个评估指标上均优于现有的LLM-as-a-Judge框架,尤其是在任务依赖关系评估中表现出色。来源:https://mp.weixin.qq.com/s/z48LtC7FhO0T6FgsDvizfw
页:
[1]