周大 发表于 2024-5-29 14:58:59

浪潮信息开源高效MoE模型，挑战大模型算力瓶颈

浪潮信息推出开源MoE模型源2.0-M32，以其32个专家的高效架构，实现了与700亿参数的Llama 3-70B相当的性能，但激活参数和计算量仅为1/19。通过算法创新，源2.0-M32在多个任务中表现出色，降低了大模型应用的算力成本。此外，浪潮信息的「元脑企智」平台进一步简化了大模型的应用开发，降低了行业门槛。
来源：https://mp.weixin.qq.com/s/-ER7deRdevBOJYBqVFmUiw
页: [1]
查看完整版本: 浪潮信息开源高效MoE模型，挑战大模型算力瓶颈