2700万参数HRM模型ARC-AGI表现亮眼,外循环优化而非分层架构成关键
ARC PRIZE 团队对分层推理模型(HRM)进行了深入验证,发现其在 ARC-AGI-1 上得分为 32%,在 ARC-AGI-2 上仅为 2%。尽管 HRM 声称具备分层推理能力,但消融实验显示其“分层”架构对性能提升有限,真正起作用的是“外循环”优化过程,尤其在训练阶段显著提升表现。研究还发现,跨任务迁移学习作用不大,模型主要依赖对特定任务的记忆,且任务增强只需 300 次即可接近最大性能。HRM 的方法与“无预训练的 ARC-AGI”方法相似,引发对其创新性的讨论。虽然模型小巧且在 ARC-AGI-1 上表现良好,但其泛化能力和架构创新仍存争议,未来研究将聚焦增强机制、优化策略与泛化能力提升。来源:https://mp.weixin.qq.com/s/7q5LhAnsfA2ePpAC5yxV3w
页:
[1]