PixelRefer ：让AI从“看大图”走向“看懂每个对象”

针对多模态大模型在细粒度视觉理解上的局限，浙江大学、达摩院与香港理工大学联合提出PixelRefer，一种支持任意粒度的统一时空像素级理解框架。该模型通过创新的Scale-Adaptive Object Tokenizer生成高质量对象表征，在图像与视频任务中均达到SOTA性能。其轻量版PixelRefer-Lite-2B相较英伟达DAM-3B推理速度提升约4倍，显存占用减少50%。基于140万+80万开源样本训练，模型在多对象关系、时序推理等复杂场景中表现突出，为自动驾驶、医疗影像等应用提供关键技术支撑。
来源：https://mp.weixin.qq.com/s/W7xdArKcBe_rnV6wppjA2w