大模型越聪明越不听话？新研究揭示矛盾

上海人工智能实验室与香港中文大学研究团队通过MathIF基准发现，大模型越擅长复杂推理，越容易忽略用户指令，“聪明”与“听话”之间存在明显权衡。实验显示，推理能力强的模型在指令遵循能力上表现较差，且模型规模与服从性无正相关关系。推理导向训练（如SFT、RL）提升了解题能力，却削弱了对具体指令的敏感性。此外，长推理链会导致模型更难遵守指令，而限制推理长度虽能提升服从性，却降低了推理能力。研究提出在输出答案前重复指令要求的方法，可改善模型的“听话程度”，但会牺牲一定解题准确率。未来，MathIF有望助力构建既聪明又守规矩的大模型。
来源：https://mp.weixin.qq.com/s/_4LqKQSzEEmLnbFFU4di7g