策略学习助力LLM推理效率：MIT与谷歌团队提出异步并行生成新范式
MIT与谷歌联合开发的PASTA系统通过策略学习优化大语言模型异步生成，引入PASTA-LANG标记语言实现语义块并行生成，提速1.21-1.93倍。该系统采用双阶段训练流程，结合监督微调与偏好优化，设计交错式KV缓存提升多线程协作效率。实验表明，PASTA在性能与质量间达到Pareto最优，且具备出色可扩展性，为实时大模型应用提供新方向。来源：https://mp.weixin.qq.com/s/wrPY751GN9KDlzty7h23CQ
页:
[1]