AgentAuditor: 让智能体安全评估器的精确度达到人类水平

随着 LLM 智能体向自主决策与复杂任务执行发展，其安全评估面临评估工具不足的挑战。现有基于规则或大模型的方法难以全面识别交互过程中的潜在风险。为此，来自纽约大学等多所高校的研究团队推出 AgentAuditor——一种免训练的记忆增强推理框架，结合结构化记忆与检索强化推理，显著提升评估精度，在 ASSEBench 等基准测试中表现接近甚至超越人类专家水平。同时，研究团队构建了包含 2293 条标注数据的新基准 ASSEBench，涵盖广泛的风险类型与应用场景，填补了领域空白。
来源：https://mp.weixin.qq.com/s/eQhsQ3ttUkZRNtQ5Jf8bVg