大语言模型预测能力探究

最新研究讨论了Transformer语言模型是否会深谋远虑，在实践中发现模型并不会预测未来token，而是计算对预测下一个token有用的特征。这一发现强调了数据对语言模型性能的关键作用。
来源：https://mp.weixin.qq.com/s/1kolCWSsFAp4e9MGG089vQ