LeCun在Meta的最后论文？还是共同一作，LeJEPA：JEPAs理论拼图补完
LeCun 团队提出 LeJEPA，一种有理论基础的自监督学习框架，通过证明各向同性高斯分布为最优嵌入分布，并引入高效且可证的 SIGReg 正则化方法，解决了 JEPA 中的表征崩溃问题。该方法无需依赖停止梯度、教师-学生网络等启发式技巧，仅用一个超参数即可实现稳定训练，具有线性计算复杂度。实验表明，LeJEPA 在 ImageNet-1K 上达到 79% 线性评估准确率，支持大规模扩展（最高 18 亿参数），并在 Galaxy10 等小规模领域数据上超越现有迁移学习方法。其训练损失与下游性能高度相关（相关性达 85%），有助于无监督模型选择，同时展现出丰富的语义结构学习能力。来源：https://mp.weixin.qq.com/s/b0gDyBvTqe-m_TERTOITMw
页:
[1]