NeurIPS 2025 | DePass:通过单次前向传播分解实现统一的特征归因

[复制链接]
周大 发表于 2025-12-1 15:16:15 | 显示全部楼层 |阅读模式
清华与上海 AI Lab 团队提出 DePass——一种基于分解前向传播的统一特征归因框架,可在 token、神经元、注意力头及子空间等多个层级对 Transformer 模型进行细粒度、无损归因。相比传统方法,DePass 计算高效且归因更忠实,在 CounterFact 任务中通过定向遮罩将事实准确率从约10%提升至40%以上,并在组件重要性评估上超越主流指标,为大模型可解释性研究提供了通用新工具。
来源:https://mp.weixin.qq.com/s/-3TBpNIaFxLHn0fuigwd4g

搜索|Archiver|手机版|靠浦网络|靠浦ai课堂 ( 鄂ICP备17024134号-3 )

GMT+8, 2026-10-23 16:13 , Processed in 0.260202 second(s), 21 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表