苹果也在蒸馏大模型，给出了蒸馏Scaling Laws

苹果研究人员提出蒸馏扩展定律，首次实现对蒸馏模型性能的量化估算。研究表明，在固定计算预算下，通过优化教师和学生模型间的资源配置，可以最大化学生模型性能。研究发现，在满足特定条件时，蒸馏比监督预训练更有效，且学生模型有时能超越教师模型。这项工作为生产更小、更强大的AI模型提供了理论支持，有助于降低推理成本并提高效率。
来源：https://mp.weixin.qq.com/s/ahHtRBok0jVzyYUKRihvVg