Nature研究揭示大模型在简单任务上不可靠

剑桥大学团队研究发现，尽管大型语言模型（LLM）在复杂任务上表现优异，但在简单任务上却频繁出错。研究显示，即使是经过优化的大模型，如o1系列，也无法在简单任务上保持高准确性。此外，LLM倾向于过于自信地应对复杂任务，即便它们最终给出错误答案。提示工程及RLHF等技术并未显著改善大模型的可靠性，反而增加了用户的信任风险。
来源：https://mp.weixin.qq.com/s/557P9swS3OKK_DghCglevA