树搜索也存在「过思考」与「欠思考」？腾讯AI Lab与厦大联合提出高效树搜索框架

腾讯AI Lab联合厦门大学、苏州大学提出高效树搜索框架Fetch，针对大语言模型推理中「过思考」与「欠思考」问题进行优化。研究发现传统树搜索算法存在节点冗余与验证器不稳定性两大缺陷，导致计算资源错配。Fetch通过冗余节点合并与验证方差抑制机制，有效解决上述问题，在GSM8K和MATH数据集测试中，计算开销降低至基线的1/3，同时保持1~3个点的准确率提升，为大语言模型推理效能提升提供了新方法论支持。
来源：https://mp.weixin.qq.com/s/TZVzF5YWOduMFLFybs47Gw