清华、上海AI Lab等提出傅里叶位置编码，多项任务远超RoPE

清华大学周伯文教授团队通过研究发现，旋转位置编码（RoPE）的周期延拓受限于频谱破坏，进而影响语言模型（LM）的长文本泛化能力。为解决此问题，团队提出傅里叶位置编码（FoPE），该方法接受频谱损坏并设计更鲁棒的位置编码，大幅提升 Transformer 的长文本处理能力。实验显示，FoPE 在困惑度、准确率等任务上显著优于 RoPE。此外，研究成果还可能广泛应用于长视频生成、语义通信等领域。
来源：https://mp.weixin.qq.com/s/qUswWWM9cD5JWfLqOEhRcQ