夸克、浙大开源OmniAvatar，一张图+一段音，就能生成长视频

夸克与浙江大学联合开源音频驱动全身视频生成模型OmniAvatar，仅需输入图片和音频即可生成高质量、唇形同步、动作自然的全身视频，并支持通过提示词控制人物姿态、情绪等细节。该模型在多个视频生成维度表现优异，同时优化了长视频生成，确保人物一致性与时间连贯性。其创新的像素级音频嵌入策略和LoRA微调方法，提升了生成效率与质量。目前OmniAvatar仍处于实验阶段，未来将进一步拓展至多角色交互等复杂场景。
来源：https://mp.weixin.qq.com/s/kSuN83WsDsQYmNs89e_wdg