英伟达、DeepSeek集体跟进！18个月前被忽视，如今统治AI推理

2024年加州大学圣地亚哥分校Hao AI Lab提出的DistServe系统，通过“预填充-解码”解耦架构革新大模型推理，有效解决传统同址部署中的延迟干扰与资源利用率低问题。该理念迅速被NVIDIA、vLLM等主流框架采纳，成为行业标准。随着模型规模与流量激增，解耦架构在百至千张GPU的大规模场景中展现出高效率与可扩展性，并催生Attention-FFN解耦、流水线分解、层级化缓存（如HiKV）及多模态解耦等新方向。学术界进一步探索“解耦学习”以应对持续训练挑战，标志着AI系统正迈向模块化、可独立优化的智能新阶段。
来源：https://mp.weixin.qq.com/s/Y9YLqUpSBOlIhKTEhNzBVQ