免剪辑直出！AI生成多角色同框对话视频，动态路由精准绑定音频
Bind-Your-Avatar是一种基于扩散Transformer的新框架，首次实现了同场景下多角色语音驱动视频生成。该模型通过细粒度嵌入路由机制，将语音与对应角色精确绑定，实现高质量的音画同步和动态背景生成。研究人员同时构建了首个面向多角色对话视频的数据集MTCC（含200+小时视频），并建立了完整的评测基准。实验表明，Bind-Your-Avatar在人脸身份保真、音画同步等关键指标上显著优于现有单角色方法，在处理复杂交互场景时表现出更强的能力。未来工作将聚焦于增强角色肢体动作及优化模型实时性。相关数据集与代码计划开源。来源：https://mp.weixin.qq.com/s/9H3VFlHVI2MAj3aUwh2CrA
页:
[1]