EMNLP2025 | 通研院揭秘MoE可解释性，提升Context忠实性！
北京通用人工智能研究院团队在EMNLP 2025发表研究，提出Router Lens与CEFT方法，首次系统揭示MoE模型中存在专注利用上下文信息的“上下文忠实专家”。通过轻量路由微调识别这些专家，CEFT仅微调关键参数，在SQuAD、NQ等任务上达到或超越全参数微调效果，训练参数减少达13.8倍，并显著缓解灾难性遗忘，为高效、可解释的大模型优化提供新范式。来源：https://mp.weixin.qq.com/s/UNPQeyibGZ9jZJkgfyCkVQ
页:
[1]