新研究揭示“可观察的扩展定律”，预测AI语言模型性能

斯坦福大学和多伦多大学的研究团队推出“可观察的扩展定律”，提供一种新的方法来理解和预测AI语言模型在扩大规模时的性能。由于计算资源限制，传统的扩展分析并不常见。新方法利用约80个公开模型，揭示了语言模型性能与低维能力空间的关系，从而能预测模型的涌现能力、智能体性能以及后训练方法的效果，如思维链，即使使用较小的模型也能实现准确预测。
来源：https://mp.weixin.qq.com/s/D8yx5Ma38TXjV3Yepa1_Sg