面壁智能发布端侧大模型MiniCPM 4.0，8B与0.5B双版本，性能卓越且支持多框架部署
面壁智能推出端侧大模型 MiniCPM 4.0，支持 vLLM、SGLang 等开源框架部署，并通过自研 CPM.cu 推理框架实现极限场景下 220 倍提速及常规 5 倍提速。该系列包括 8B 和 0.5B 两种参数规模模型，其中 8B 版本采用「高效双频换挡」机制，可根据任务需求切换注意力模式，优化长、短文本处理效率。此外，MiniCPM 4.0 借助技术创新实现 90% 的模型瘦身与性能提升，为端侧推理提供更流畅的体验。来源：https://tech.ifeng.com/c/8jzB33z0Uiu
页:
[1]