MIT研究：测试时训练大幅提升大模型性能

MIT团队最新研究表明，测试时训练（TTT）在大模型上展现出巨大潜力。TTT通过在推理过程中动态更新模型参数，显著提升模型性能。在ARC公共基准测试中，TTT使模型准确率达到61.9%，接近人类水平。OpenAI因新一代模型Orion进展缓慢引发争议，强调测试时计算的重要性。TTT与传统微调不同，可以在极少数据条件下运行，通过单个输入进行“无监督学习”或“监督学习”。通过使用LoRA适配器和几何变换生成增强数据集，TTT显著提升模型性能。
来源：https://mp.weixin.qq.com/s/dhAJVUpx0Il90w2y8cprTQ