港科大广州和伦敦大学学院团队联合发布软硬协同设计的边缘语言模型PLM

香港科技大学（广州）与UCL、中科院自动化所联合推出Peripheral Language Model（PLM），这是首个结合MLA注意力机制与ReLU2激活FFN的架构。PLM在多项评测中表现出色，如HumanEval得分64.6分位居榜首。团队通过三阶段训练策略锻造PLM-1.8B，仅使用开源数据，使模型在边缘设备上实现高效推理。实验显示，PLM推理速度快且内存消耗低，适用于多种硬件平台。团队已全面开放资源，为社区提供支持，并计划未来继续探索高效边缘设备部署的大模型。
来源：https://mp.weixin.qq.com/s/pYgU8tDZVjfemA8hosSEFg