Meta科学家最新采访，揭秘Llama 3.1是如何炼成的

Meta AI科学家Thomas Scialom在播客节目中介绍了Llama 3.1的研发细节及Llama 4的发展方向。Llama 3.1采用15T token数据集训练，参数规模达405B，但通过量化技术，用户可在单节点上运行。Scialom还讨论了模型规模选择、模型架构、合成数据应用和模型评估等问题。他还透露，Meta已开始训练Llama 4，将重点发展agent技术。
来源：https://mp.weixin.qq.com/s/2q3jTMM45AJAZjF5AdXzow