DCMHA机制，大模型计算效率暴涨至200%

彩云科技团队针对Transformer模型进行创新，提出DCMHA机制，解决了多头注意力模块的低效问题，实现计算性能翻倍。这一改进可能大幅加快大模型的tokens生成速度，其论文在ICML 2024上获得高分并开源。
来源：https://mp.weixin.qq.com/s/8650CfLSSRUPfiYUTakkNQ