BoT框架提升大模型推理效能，Llama3-8B秒杀70B

北京大学、UC伯克利和斯坦福的研究团队开发了一种名为BoT的新框架，通过思维模板显著提升了大语言模型（LLM）的推理能力。BoT由问题蒸馏、模板检索和实例化推理组成，使得LLM在24点游戏等推理任务上的性能显著增强。尤其值得关注的是，原本较小的Llama3-8B模型在BoT支持下，超越了70倍规模的Llama3-70B。实验结果证明，BoT在推理准确性和效率上均优于现有技术，展现出强大的泛化和模型鲁棒性。
来源：https://mp.weixin.qq.com/s/wdtM2o1KzLahaW-rPUr7Mg