浙大发布大模型工作流评测新基准

浙大通义发布WorfBench和WorfEval，针对大模型智能体工作流评测。该基准涵盖18k训练样本，采用DAG建模，弥补现有评估体系的不足。实验显示，即使是GPT-4，其图结构工作流预测平均性能仅为52.47%，且模型泛化能力有限。研究发现线性规划与图规划能力存在差距，未来需优化提示策略及多智能体架构以提升性能。
来源：https://mp.weixin.qq.com/s/zDu8mCxHCHJD0w8-2V3ccw