统一视觉多模态与多任务！快手可灵与港科大团队发布视频生成模型，加速真实世界理解

来自港科大、港中文、清华与快手可灵的研究团队推出UnityVideo，一种统一多模态多任务的视频生成模型。该模型通过联合训练深度、光流、骨架、分割等多种视觉模态，在130万样本的OpenUni数据集上实现更深层次的物理世界理解。实验表明，其在文本生成视频、可控生成和模态估计任务中全面领先，背景一致性达97.44%，深度估计Abs Rel低至0.022，并展现出强大的零样本泛化能力。用户研究进一步证实其在物理真实感（38.50%）上的显著优势，验证了多模态统一训练对构建智能视觉系统的重要意义。
来源：https://mp.weixin.qq.com/s/CuvHE8hd8xcPo6WCXESZfQ