用LLaVA解读数万神经元,大模型竟然自己打开了多模态智能黑盒

[复制链接]
周大 发表于 2024-12-7 14:21:32 | 显示全部楼层 |阅读模式
新加坡南洋理工大学LMMs-Lab团队开发了一种新方法,利用“模型看模型”的方式,使用LLaVA-OV-72B解读LLaVA-NeXT-8B中的神经元。该方法通过稀疏自编码机(SAEs)将多语义神经元解离为单语义神经元,并用更大模型进行解释,提高了多模态大模型的可解释性。研究发现,通过刺激特定神经元,可以减少模型的幻觉现象,提高安全性。此外,该方法还发现了许多情感神经元和多模态一致性神经元,有助于理解模型的智能产生机制。
来源:https://mp.weixin.qq.com/s/r-MJLNXTDy4WyENl3JjCBw

学员登陆|Archiver|手机版|靠浦网络|靠浦ai课堂 ( 鄂ICP备17024134号-3 )

GMT+8, 2024-12-23 23:35 , Processed in 0.281782 second(s), 24 queries .

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表