谁说Scaling Law到头了？新研究：每一步的微小提升会带来指数级增长
一项来自剑桥大学等机构的研究重新审视了大语言模型（LLM）Scaling Law的价值。研究发现，尽管单步任务准确率提升放缓，但其微小改进可通过复合效应使模型完成的任务长度呈指数级增长，这对现实应用更具经济意义。实验显示，LLM在长任务执行中面临“Self-Conditioning”问题，即历史错误会加剧后续错误，但引入“思考”机制（如思维链）可有效缓解该问题。此外，模型规模扩大仍能显著提升执行能力，GPT-5甚至可完成超过1000步的任务。研究呼吁设计更多衡量执行深度的基准测试，以更全面评估模型Scaling的实际价值。来源：https://mp.weixin.qq.com/s/xT1yUL__w5m-XwF3-02jmQ
页:
[1]