LLM工业级自进化:北邮与腾讯AI Lab提出MoE-CL架构,解决大模型持续学习核心痛点
北邮与腾讯联合提出 MoE-CL 框架,用于大语言模型的自进化持续学习。该方法结合任务专属与共享 LoRA 专家,并引入 GAN 抑制噪声,在 MTL5 和 Tencent3 基准上平均准确率优于现有方法,反向迁移性能提升明显。腾讯真实场景测试中剔除率达 28.8%,人工介入成本降低 15.3%,展现出优异的稳定性与工业应用潜力。来源:https://mp.weixin.qq.com/s/RuWZSV6xDfdESSxrXjv4_g
页:
[1]