10行代码让大模型数学提升20%,“野路子”研究谷歌也测上了,主要作者全靠自学成才
独立学者提出的大模型采样改进方案——最小p采样(min-p sampling),仅用不到10行代码即可提升数学能力20%。该方法旨在平衡生成文本的连贯性和多样性,已在Mistral-7B上验证有效,并获得开源社区广泛采用。Anthropic和谷歌等公司也在测试中。min-p方法在不同场景下均表现出色,特别是在推理任务中保持了所需的稳定性,在创意写作中激发更多创意。来源:https://mp.weixin.qq.com/s/ZsGZEvdSup0nuHlEClulcA
页:
[1]