精度效率双冠王！时序预测新范式TimeDistill：跨架构知识蒸馏，全面超越SOTA

TimeDistill是一种跨架构知识蒸馏框架，由中美澳多地科研团队提出。它通过将复杂模型（如Transformer和CNN）的知识迁移到轻量级MLP模型，显著提升了MLP的时序预测精度和计算效率。实验表明，TimeDistill相比教师模型推理速度加快最多7倍，参数量减少最多130倍，并在多个数据集上展现了超越教师模型的表现。此外，TimeDistill兼容多种教师、学生模型及回溯窗口长度，适应性强，为时序预测提供了高效精准的新思路。
来源：https://mp.weixin.qq.com/s/qsZ6HCQfUb-9UFIEpyRBFg