北大提出VARGPT：单一框架实现视觉「理解」与「生成」

北大团队开发的VARGPT实现了视觉理解和生成任务的统一，采用预测next-token和next-scale机制。该模型基于LLaVA-1.5-7B架构，创新性引入视觉解码器等组件，通过三阶段训练流程（1.28M预训练+665K微调+140万指令数据），在视觉问答等多个基准测试中表现优异。VARGPT支持混合模态输入输出，能够生成高质量图像，现已开源。
来源：https://mp.weixin.qq.com/s/mXFn-9QwU9pO1HWaz8uV0A