超越KL！大连理工发布Wasserstein距离知识蒸馏新方法

大连理工大学研究团队提出基于Wasserstein距离的知识蒸馏方法WKD，解决传统KL散度在Logit和Feature蒸馏中的局限。WKD分为Logit蒸馏(WKD-L)和Feature蒸馏(WKD-F)，通过跨类别比较和高斯分布建模特征，分别克服了KL散度无法进行类别间比较及处理不重叠分布的问题。实验结果显示，WKD在图像分类和目标检测任务中均超越现有方法，尤其在ImageNet、CIFAR-100和MS-COCO数据集上表现出色，论文已被NeurIPS 2024接收为Poster。
来源：https://mp.weixin.qq.com/s/R0xS3FErHt3McVbwuO2HvQ