华为新开源！扩散语言模型突破32K上下文，还解锁了「慢思考」
华为发布 openPangu-R-7B-Diffusion，首次将扩散语言模型上下文扩展至 32K，基于 800B token 续训练，在 MMLU-Pro、MATH（84.26）、MBPP（84.05）等基准创 7B 模型 SOTA。其创新因果注意力掩码架构实现自回归到扩散模型的高效迁移，支持双模式解码，并行速度提升至 2.5 倍，且全流程运行于昇腾 NPU 集群，展现国产算力在前沿 AI 模型中的支撑能力。来源：https://mp.weixin.qq.com/s/xR3v0qDmip7yGbbsbY2Msg
页:
[1]