别直接训！给主模型加个错题本，6B轻松超越8B | NeurIPS

伊利诺伊大学与普林斯顿大学提出“Mistake Log”机制，通过记录大模型在训练中犯错时的任务语境、内部推理状态及逐token误差，构建结构化“错题本”。研究引入辅助模型Copilot学习这些错题，并在推理过程中实时校正主模型输出。理论证明该方法能有效降低预测误差，实验显示LLaMA-3.2-3B搭配3B Copilot（共6B参数）性能超过原生8B模型，在10项基准测试中验证了其有效性，表明提升纠错能力或比单纯扩模更高效，为模型优化提供新路径。
来源：https://mp.weixin.qq.com/s/Fs_0cB0N9ecXr4Q0r7iRuA