小模型层数好玄学：12/32/64层效果好，16/24/48/层效果糟
一项针对70M参数小模型的研究发现，模型“形状”（深度-宽度比）对性能的影响远超架构选择。实验显示12L、32L、64L层数表现优异（约38%准确率），而16L、24L、48L则明显落后，差距超6个百分点，关键在于隐藏维度是否≥512或具备特定深度补偿机制。32层在宽度为384时取得38.50%最高分。测试涵盖LLaMA3、Gemma3等12种架构，性能差异不足2%，表明现代优化对小模型增益有限。扩散模型虽准确率略低，但推理速度快3.8倍，TruthfulQA得分达49.27%，幻觉更少。加入“Canon层”可提升事实性（最多+2%），仅增0.13%参数。利用WSD方法可将自回归模型以1/10成本转化为性能相当甚至更优的扩散模型。最终推出的Dhara-70M融合两者优势，提示小模型开发者应优先优化基础结构，避免“死亡区域”，并根据应用场景权衡速度与准确性。来源：https://tech.ifeng.com/c/8ppDRERrMq4
页:
[1]