周大 发表于 2024-6-25 15:10:03

小米大模型提效新框架SUBLLM：训练最高提速34%、推理最高提速52%

小米科技携手AI专家Daniel Povey推出SUBLLM技术，旨在提升大模型效率。此技术通过智能子采样、上采样和旁路处理，实现训练和推理速度提升26%和37%，降低内存使用，同时保持模型性能。SUBLLM的工作机制模拟人脑处理信息，优化计算资源分配，有效筛选并恢复文本关键信息，为大型语言模型运算带来新突破。
来源：https://tech.ifeng.com/c/8ag7rA4hWuy
页: [1]
查看完整版本: 小米大模型提效新框架SUBLLM：训练最高提速34%、推理最高提速52%