周大 发表于 2024-10-8 14:44:31

「乘法变加法」 MIT新算法L-Mul大幅降低LLM能耗

MIT研究人员提出L-Mul算法，用整数加法代替浮点乘法，大幅降低LLM能耗。该算法在精度和性能上接近或优于fp8格式，实验表明可在不牺牲性能的前提下显著减少计算资源消耗，降低能耗最高达95%。此方法有望在多种大规模语言模型中广泛应用。
来源：https://mp.weixin.qq.com/s/LdRacBGfjyF8xUJP6h6xbw
页: [1]
查看完整版本: 「乘法变加法」 MIT新算法L-Mul大幅降低LLM能耗