北京大学：利用好不确定性，8B小模型也能超越GPT-4

北大论文揭示，在多数任务中，贪婪解码优于采样方法。通过采用“Best-of-N”策略，从多个采样响应中挑选最优答案，小规模模型Llama-3-8B-Instruct在MMLU、GSM8K和HumanEval上超越GPT-4-Turbo。研究还发现不同模型在不同任务中的表现差异显著，且缩放、对齐和解码参数对非确定性有重要影响。
来源：https://mp.weixin.qq.com/s/PJhlg_iz_zdZhsZ7unwdhg