周大 发表于 2024-11-27 15:00:12

RNN长上下文表现不佳？清华团队提出改进方案

清华大学研究团队发现，RNN模型在长上下文中的表现不佳主要是由于较短的训练数据导致的循环状态过拟合和内存容量的上限。通过改进Mamba-2模型，研究人员提出了三种解决方案：增加状态衰减量、状态归一化和滑动窗口机制，使RNN在256K上下文长度上达到了近乎完美的密钥检索精度。这一研究为RNN模型的长上下文应用提供了新的思路。
来源：https://mp.weixin.qq.com/s/YZPirtJ7BkRrmOoSl6c-kA
页: [1]
查看完整版本: RNN长上下文表现不佳？清华团队提出改进方案