数据蒸馏新方法只需2GB显存高效运行

上海交通大学EPIC实验室提出新型数据集蒸馏方法NFCM，通过将数据蒸馏转化为minmax优化问题，在多个基准数据集上取得显著性能提升。相比前SOTA方法，NFCM显存占用仅为1/300，速度提升20倍，并且只需2GB GPU内存和2080Ti即可完成CIFAR数据集无损蒸馏。该研究由27岁清华博士张林峰带领团队完成，相关论文获得CVPR满分评价。
来源：https://mp.weixin.qq.com/s/VtIqPF_a098qAEvrTKbi6A