多模态CoT思维链架构来了，现已开源

厦门大学和腾讯优图的研究团队近日发布了一种名为“领唱员”（Cantor）的多模态思维链架构，旨在增强大模型的决策感知和推理能力。Cantor通过整合视觉和文本信息，有效避免了“决策幻觉”，并在ScienceQA和MathVista数据集上取得了显著性能提升，无需额外训练。Cantor的创新之处在于其决策生成和执行的两步流程，以及四个专家模块，分别处理不同的视觉和文本子任务，表现出强大的多模态理解与推理能力，其论文及代码已开源。
来源：https://mp.weixin.qq.com/s/YCqnAN8vEsP9N7vQ2HQjoA