新研究揭示“可观察的扩展定律”,预测AI语言模型性能
斯坦福大学和多伦多大学的研究团队推出“可观察的扩展定律”,提供一种新的方法来理解和预测AI语言模型在扩大规模时的性能。由于计算资源限制,传统的扩展分析并不常见。新方法利用约80个公开模型,揭示了语言模型性能与低维能力空间的关系,从而能预测模型的涌现能力、智能体性能以及后训练方法的效果,如思维链,即使使用较小的模型也能实现准确预测。来源:https://mp.weixin.qq.com/s/D8yx5Ma38TXjV3Yepa1_Sg
页:
[1]