微软推出14B小模型Phi-4，多项能力超70B大模型

微软推出14B参数的小模型Phi-4，在多个基准测试中表现出色，特别是在数学和编程能力上超过了70B级别的大模型。Phi-4在美国数学竞赛AMC 10/12上得分90，编程能力也在HumanEval上领先。微软还提出了新的训练范式midtraining，使Phi-4在长文本处理能力上显著提升，窗口长度达到16K后，召回率仍保持在99%。此外，研究团队引入了枢轴tokens搜索（PTS）和人类反馈对比学习（Human Feedback DPO），进一步优化了模型的训练效果。
来源：https://mp.weixin.qq.com/s/rItIbxAen7nSf9TvykLVXg