贾佳亚团队联合Adobe提出GenProp，物体追踪移除特效样样在行

贾佳亚团队与Adobe团队合作推出GenProp模型，该模型可将一帧的修改传播到整个视频，在物体移除、视频补全、物体替换、背景替换、物体插入等任务上展现革新能力。相比传统方法SAM v2.1，GenProp在追踪物体side effects（如影子、反射）方面更优。GenProp框架通过选择性内容编码器和Image-to-Video模型实现修改传播，并使用多种合成数据训练，还提出了区域感知损失以提高模型性能，为视频编辑提供了新的思路。
来源：https://mp.weixin.qq.com/s/tNqB956LXKhGMDhtCyTFDQ