高效评估多模态预训练对齐质量，中科大提出模态融合率MIR
中国科学技术大学等机构的研究团队提出了一种新的评估指标——模态融合率（MIR），用于评估多模态大模型（MLLM）的预训练质量。MIR通过计算模型各层模态域间的距离，能够快速准确地评估多模态预训练的模态对齐程度，优于现有的评估方法。实验表明，MIR在扩大预训练数据规模、超参数调整及预训练策略选择上具有显著的有效性，有助于提高多模态模型的性能。来源：https://mp.weixin.qq.com/s/bhh0sFxQ6GKOYAL7mOY7Vw
页:
[1]