1100多个模型殊途同归，指向一个「通用子空间」，柏拉图又赢一回？
约翰斯·霍普金斯大学研究发现，超1100个神经网络无论数据、初始化如何，其权重均收敛至共享低维子空间，在ResNet、ViT、LLaMA等架构中普遍存在。实验显示，仅需16维左右即可保留主要信息，LoRA投影后性能稳定且内存效率提升19倍，模型合并无需调参即优于现有方法。该现象提示架构决定学习边界，或解释泛化、迁移等机制，但任务与架构多样性限制仍待突破。来源：https://mp.weixin.qq.com/s/M3BypidpKOk05b6mjC-KSQ
页:
[1]