新方法SinKD提升小模型性能，超越现有知识蒸馏技术

中科大与腾讯优图实验室提出了一种基于Sinkhorn距离的知识蒸馏方法SinKD，该方法克服了现有方法如KL、RKL、JS散度的局限性。通过批量重构方法，SinKD在高维空间中捕捉跨样本分布的几何复杂性，从而在多个自然语言处理测试集上超越了现有最先进方法。此外，SinKD在生成式大语言模型和独热标签微调中也表现出色。
来源：https://mp.weixin.qq.com/s/YLbrPnX7d7F4h3h2VImS2g