只有通过海量测试才能抓住泛化性的本质吗？

上海交通大学研究团队探索了神经网络模型的表征质量与泛化性问题，提出从中层表征逻辑交流角度分析泛化性。研究发现，可泛化的交互在不同阶数上呈现衰减形分布，而不可泛化的交互则呈现纺锤形分布。通过实验验证，团队提出的理论模型能够精确匹配实际场景中的交互分布，并开发了分解算法用于提取可泛化和不可泛化交互。此外，基于此理论，团队对比了Qwen2.5-7b与DeepSeek-r1-distill-llama-8b模型，揭示了两者在交互分布上的差异。尽管研究取得进展，但距离解释模型泛化性的终极理论仍有差距。
来源：https://mp.weixin.qq.com/s/qhOqtiwnDNQhn7AWASEOJw