模型参数作知识通用载体，MergeNet离真正的异构知识迁移更进一步

浙江大学与上海交通大学联合研究团队提出MergeNet框架，旨在解决边缘计算设备部署深度神经网络时面临的性能与资源矛盾。现有知识迁移方法如知识蒸馏和迁移学习存在局限性，无法有效应对不同架构、任务和模态间的知识迁移需求。MergeNet通过引入低秩矩阵表示及参数适配器，实现了跨异构模型的知识统一表示与适配，并结合自学习和互学习机制优化训练过程。实验结果显示，在多个具有挑战性的场景中，MergeNet均取得了显著的性能提升，为解决物联网设备上的智能应用提供了新思路。
来源：https://mp.weixin.qq.com/s/I8IP2scMsRatnGChpR8sWQ