百万美金炼出「调参秘籍」！阶跃星辰开源LLM最优超参工具

阶跃星辰团队通过大规模实证探索，耗费近100万GPU小时，训练了3,700个不同规模的大语言模型，揭示了LLM超参数优化的全新缩放规律——Step Law。该法则展现了跨模型形状、架构及数据分布的稳定性，并推出开箱即用的最优超参估算工具，误差仅0.09%。团队正逐步开源所有资料，推动相关研究深入发展。
来源：https://mp.weixin.qq.com/s/atA8y-vF-7wsUcXKoz5oFw