Margin Sampling 大小语言模型配合节约成本

爱丁堡大学的研究团队开发了一种创新方法，解决了大语言模型应用中的成本与性能平衡问题。名为Margin Sampling的新策略，通过小型LLM的置信度来决定是否需要调用大型LLM，无需额外训练辅助模型。实验结果显示，这种方法在多数情况下优于现有协同技术，特别是在问答任务中，展现了其高效和经济的特性。
来源：https://mp.weixin.qq.com/s/9tVkVGPBsbzmgfKFrlVcMg