清华UCSD提出全新微调方法，8B小模型媲美GPT-4o！

UCSD和清华的研究团队开发了一种新型微调方法，使得80亿参数的小模型在科学问题上能够与GPT-4o相媲美。该方法旨在解决大型语言模型在复杂问题上的“幻觉”现象，通过World Knowledge Distillation（WKD）和Tool Usage Adaptation（TUA）两部分实现。实验结果显示，微调后的模型在自定义数据集上的表现显著优于基准模型，且能合理选择使用外部工具或依赖内部知识。
来源：https://mp.weixin.qq.com/s/B9aMDNTEbjP8UfoH8jmWsg