IDEA联合清华北大提出ChartMoE：探究下游任务中多样化对齐MoE的表征和知识
在ICLR 2025大会上，由IDEA、清华大学等机构联合研发的ChartMoE模型入选口头报告论文（录取率仅1.8%）。该多模态大语言模型创新性地采用多阶段对齐训练方法，通过Table、JSON和Python Code三种格式进行图文对齐，显著提升了图表理解能力。研究显示，ChartMoE不仅在图解任务基准测试中表现优异，还能有效保持通用任务性能。这一成果验证了MoE架构在下游任务中的应用潜力，为稀疏结构在多模态模型中的研究开辟了新方向。来源：https://mp.weixin.qq.com/s/9anQbcCahVLnXhNj7aU48Q
页:
[1]