405B大模型也能线性化！斯坦福MIT最新研究，0.2%训练量让线性注意力提分20+

斯坦福、MIT等机构推出低秩线性转换方法LoLCATs，实现传统注意力到线性注意力的无缝转移，仅需0.2%的参数更新即可恢复精度。该方法适用于各种量级的Transformer模型，包括405B参数的大模型，线性化后的模型在性能上接近原始模型，且计算复杂度从二次方降至线性。实验结果显示，LoLCATs在多个评估任务中显著提高了线性化模型的质量和训练效率。
来源：https://mp.weixin.qq.com/s/vhHvM87dL5R4DF5RWJOMOQ