采样越多越聪明？隐式扩展颠覆认知，采样搜索如何挑出完美解

基于采样的搜索策略通过生成多个候选答案并进行自我验证，显著提升了模型推理性能。研究表明，随着采样数量和验证强度的增加，模型性能持续提升，尤其是在AIME基准测试中表现出色。隐式扩展现象表明，增加采样数量反而提高了验证准确性。研究人员提出了两个提升LLM自我验证能力的原则：对比答案以定位错误和改写答案以适应验证需求。此外，基于采样的搜索对不同规模模型均有显著性能提升，但新验证基准测试显示现有模型在验证能力方面仍有较大改进空间。
来源：https://mp.weixin.qq.com/s/AVjWS5IkzamELly8zIm5og