周大 发表于 2024-9-5 15:53:03

第一个100%开源的MoE大模型，7B的参数，1B的推理成本

艾伦人工智能研究院等机构发布 OLMoE，首个完全开源的混合专家语言模型，拥有69亿参数。OLMoE-1B-7B模型在成本效益上超越了密集模型，并在多个基准测试中表现优异，优于Llama2-13B-Chat等更大指令模型。训练代码、数据等已全部开源，有望推动更多研究。
来源：https://mp.weixin.qq.com/s/FvsYm5HxH4f9Km4Aqrso_Q
页: [1]
查看完整版本: 第一个100%开源的MoE大模型，7B的参数，1B的推理成本