周大 发表于 2024-10-27 13:51:44

田渊栋团队新作祭出Agent-as-a-Judge!AI智能体自我审判,成本暴跌97%

Meta和KAUST团队提出了一种名为Agent-as-a-Judge的新框架,用于评估AI智能体。该框架不仅减少了97%的成本和时间,还能提供丰富的中间反馈。研究人员通过DevAI基准测试平台验证了框架的效果,该平台包含55个真实AI开发任务。实验结果显示,Agent-as-a-Judge在多个评估指标上均优于现有的LLM-as-a-Judge框架,尤其是在任务依赖关系评估中表现出色。
来源:https://mp.weixin.qq.com/s/z48LtC7FhO0T6FgsDvizfw
页: [1]
查看完整版本: 田渊栋团队新作祭出Agent-as-a-Judge!AI智能体自我审判,成本暴跌97%