Softmax：小模型性能饱和根源

一项新研究揭示了小型语言模型性能饱和现象的原因，这与模型隐藏维度与上下文概率分布的不匹配有关，称为softmax瓶颈。模型在预训练后期可能出现退化的潜在表征，尤其是在隐藏维度小于1000时。此外，各向异性的增加也与性能下降相关。研究指出，优化语言建模头的秩限制可能是提升小型模型性能的关键。
来源：https://mp.weixin.qq.com/s/bvv-frM8bKhkZiqOa9nqDA