清华唐杰团队新作：一口气生成2万字，大模型开卷长输出

清华大学与智谱AI的研究成功让GLM-4和Llama-3.1模型的输出长度显著增加至7800字，解决了大模型生成长度普遍受限于2000字的问题。研究发现，监督式微调阶段缺乏长文本样本是限制因素。为克服这一限制，研究人员提出了AgentWrite，能够将长文本生成任务分解成多个子任务，并利用GPT-4o生成了6000个长输出训练数据。实验结果显示，GLM-4-9B模型在使用AgentWrite后表现最佳。
来源：https://mp.weixin.qq.com/s/rdeBsGZDgMWz-5PzfaTlzA