周大 发表于 2024-5-8 15:30:47

Margin Sampling 大小语言模型配合节约成本

爱丁堡大学的研究团队开发了一种创新方法，解决了大语言模型应用中的成本与性能平衡问题。名为Margin Sampling的新策略，通过小型LLM的置信度来决定是否需要调用大型LLM，无需额外训练辅助模型。实验结果显示，这种方法在多数情况下优于现有协同技术，特别是在问答任务中，展现了其高效和经济的特性。
来源：https://mp.weixin.qq.com/s/9tVkVGPBsbzmgfKFrlVcMg
页: [1]
查看完整版本: Margin Sampling 大小语言模型配合节约成本