微软Phi-4：用40%合成数据击败GPT-4o

微软发布了14B参数的小模型Phi-4，该模型在数学性能方面超越了GPT-4o和Gemini Pro 1.5，在2024年ACM数学竞赛中取得了91.8%的准确率。Phi-4采用了40%合成数据进行训练，并实现了三大核心技术突破，包括预训练和中训练的合成数据、高质量有机数据筛选以及后训练技术。这些创新使Phi-4在多个推理基准测试中表现出色，甚至超过了更大规模的模型。Phi-4的成功挑战了“数据墙”的观点，证明了数据生成和后训练技术的重要性。该模型目前可在微软Azure AI Foundry上获取，不久将登陆HuggingFace平台。
来源：https://mp.weixin.qq.com/s/Z1yBY0ZBaqmHllf-fFfEJw