NeurIPS 2025 Spotlight | 选择性知识蒸馏精准过滤：推测解码加速器AdaSPEC来了
佐治亚理工、清华大学与加州大学伯克利分校联合提出AdaSPEC，一种面向推测解码的选择性知识蒸馏方法。该方法通过参考模型识别并过滤难学token，使草稿模型聚焦学习易学部分，在31M/1.4B至350M/2.7B等多种模型组合上，token接受率最高提升15%，端到端推理速度提升10–20%，且兼容EAGLE、vLLM等框架，显著提升大模型推理效率。来源：https://mp.weixin.qq.com/s/eAIv_NlrgG3hS829MuNgqw
页:
[1]