指令跟随大比拼！Meta发布多轮多语言基准Multi-IF：覆盖8种语言，超4500种任务

Meta发布了全新基准Multi-IF，涵盖八种语言、4501个三轮对话任务，评估大语言模型（LLM）在多轮对话和多语言环境下的指令遵循能力。实验结果显示，所有模型在多轮对话中表现显著衰减，o1-preview模型从87.7%降至70.7%。非拉丁文字语言（如印地语、俄语和中文）的错误率明显更高。Multi-IF数据集通过多轮扩展和多语言适配构建，确保指令的逻辑一致性和层次递进性。o1-preview和Llama 3.1 405B表现最佳，但多轮对话中指令遗忘和自我纠正能力仍需提升。
来源：https://mp.weixin.qq.com/s/0hB0Kn8mfUoFgndcCBGBwg