Kimi 16B胜GPT-4o！开源视觉推理模型：MoE架构，推理时仅激活2.8B
Kimi团队发布了轻量级视觉语言模型Kimi-VL及其推理版Kimi-VL-Thinking，基于MoE架构，总参数16B但推理时仅激活2.8B。新模型在多模态推理和Agent能力方面表现出色，支持128K上下文窗口，并在多个基准测试中超越GPT-4o等更大规模模型。该模型已上架Hugging Face，提供Instruct基础版和Thinking推理版。其技术原理涉及MoE专家混合语言模型、视觉编码器和MLP投影器，通过高质量数据集的预训练和后训练提升了多模态理解和长思维链推理能力。来源：https://mp.weixin.qq.com/s/EsjsqnInCOJpU9SpJgyoOA
页:
[1]