微软等提出「模型链」新范式,与Transformer性能相当,扩展性灵活性更好
来自微软及多所高校的研究团队针对大语言模型(LLM)扩展中的效率与灵活性问题,提出了“表征链”(CoR)和“模型链”(CoM)的新概念。通过引入因果依赖关系,CoM实现了跨尺度特征转换,并被用于重新设计Transformer架构,形成“语言模型链”(CoLM)及其改进版CoLM-Air。实验结果表明,CoLM系列模型不仅性能与基线相当,还显著提升了预填充速度和弹性推理能力,同时通过链式调优方法降低了约42%的调优成本。这一研究为LLM的高效扩展提供了新思路。来源:https://mp.weixin.qq.com/s/UFqC41KYaE3h6KnbLw5iXQ
页:
[1]