破解多模态大模型“选择困难症”！内部决策机制首次揭秘：在冲突信息间疯狂"振荡"

一项由北大、华工等机构合作的研究指出，多模态大模型在处理图文冲突时的“模态跟随”行为受“相对推理不确定性”与“固有模态偏好”共同影响。通过构建可控数据集并引入基于熵的不确定性度量，研究发现模型跟随某一模态的概率随其不确定性升高而单调下降，并提出以“平衡点”量化固有偏好，有效区分了模型能力与偏见。实验显示，在六种主流MLLM中均存在这一规律，且内部预测在不确定性接近平衡点时出现层间“振荡”，揭示了决策犹豫的机制。该框架为理解多模态模型决策提供了新范式。
来源：https://mp.weixin.qq.com/s/Uhv2YognuVd9IKwAlnOeDw