苹果研究揭示小型语言模型的训练瓶颈和优势

苹果的一项研究表明，小型语言模型（SLM，参数量≤2B）在移动设备上的性能优越，需求日益增长。Meta 和 Mistral 已发布多个 SLM，如 Llama 3.2 的 1B 和 3B 版本。通过剪枝、蒸馏和量化等技术，SLM 的性能可媲美甚至超过大模型。苹果研究发现，FlashAttention 对 SLM 更重要，H100-80GB 和 A100-80GB 不一定具有成本效益，分布式数据并行（DDP）是最佳分布式训练方案，最大化 GPU 内存利用率不是成本最优。
来源：https://mp.weixin.qq.com/s/vAa1Tmse-Sn_nhaceWC1lg