2026开年关键词：Self-Distillation，大模型真正走向「持续学习」
2026年1月，MIT、ETH Zurich、Meta与斯坦福等机构联合发布三项自蒸馏（Self-Distillation）研究，聚焦大模型持续学习瓶颈。SDFT方法缓解监督微调中的灾难性遗忘；SDPO利用环境富反馈实现Token级精细优化，在困难任务中采样效率提升3倍，LiveCodeBench测试仅需传统GRPO 1/4样本量；OPSD通过内部特权信息差提升推理效率，Token利用率较GRPO高4–8倍。三者均依托模型内生能力，无需外部强教师，标志着自蒸馏正成为大模型后训练的标准范式。来源：https://mp.weixin.qq.com/s/IEX9TuAFOqZf5FheZWBBLA
页:
[1]