90分钟生成10万Token，新框架实现3倍无损加速超长文本生成，支持DeepSeek-R1和QwQ！
北京通用人工智能研究院团队提出TOKENSWIFT框架，解决传统自回归模型在长文本生成中的瓶颈。通过多Token并行生成、动态KV缓存更新等创新，实现3倍以上加速，将10万Token文本生成时间从近5小时缩短至90分钟。实验显示，该方法不仅大幅提升效率，还保证了生成质量和多样性。团队已发布支持R1-Distill的Qwen-32B微调模型，为超长文本生成提供高效解决方案。来源：https://mp.weixin.qq.com/s/Icx9sTwykZOLWVgA_qENmg
页:
[1]