挑战Scaling Law，Meta发布移动端350M小模型MobileLLM

科技巨头Meta推出MobileLLM系列，参数量低于1B，却展现出优于大规模模型的性能，揭示了小模型在AI领域的潜力。这一趋势表明，模型架构优化而非单纯扩大规模更能提升效率。MobileLLM通过“深而窄”的设计，在问答、阅读理解和常识推理等多个基准测试中取得最佳成绩，且更适合移动设备的运存和能耗限制，挑战了传统的Scaling Law理论。
来源：https://mp.weixin.qq.com/s/uBHsxxuEP6KXH5DJogOq5A