推理成本比MoE直降83%！字节最新大模型架构入围ICLR 2025

字节跳动发布全新稀疏模型架构UltraMem，相比现有主流架构（如MoE），推理速度提升2-6倍，成本最高可降低83%。UltraMem通过优化模型结构、改进value检索方式及隐式扩展稀疏参数，解决了MoE和PKM存在的访存瓶颈和扩展性问题。实验结果显示，在相同计算资源下，UltraMem能同时实现领先的推理速度和模型性能，为构建大规模语言模型提供了新路径。该研究成果已被ICLR 2025接收。
来源：https://mp.weixin.qq.com/s/4kxHv_WR8t63yB4x4rRQhg