大模型训练开销还能更小！微软推出首个FP4训练框架，训练效果与BF16相当

微软研究院发布首个FP4精度大模型训练框架，在相同超参数设置下达到与FP8、BF16相当的训练效果。此框架使模型规模最高可达130亿参数，训练Tokens数量达千亿级别，并通过定制化CUDA内核等技术减少资源需求。值得注意的是，该框架用FP8设备模拟FP4实现，未来使用真FP4硬件效果或更佳。团队由中科大博士生领衔，所有研究人员均为华人。
来源：https://tech.ifeng.com/c/8gZ7pbRy6FF