LeCun团队揭示LLM语义压缩本质：极致统计压缩牺牲细节

图灵奖得主Yann LeCun团队联合斯坦福与纽约大学研究人员，提出一种基于信息论的新框架，系统比较人类与大型语言模型（LLM）在语义压缩方面的策略。研究使用涵盖1049个项目、34个语义类别的高保真基准数据集，并测试30多个LLM模型，参数规模从3亿至720亿不等。结果显示，LLM虽能实现基本语义分类，但难以捕捉细粒度语义差异，其内部表征结构与人类判断存在显著偏差。研究指出，LLM倾向于极致的统计压缩以减少冗余，而人类更注重保留细节与上下文完整性，展现出更强的适应性与灵活性。
来源：https://tech.ifeng.com/c/8khzUISWX8L