港大联合字节跳动提出JoVA: 一种基于联合自注意力的视频-音频联合生成模型

香港大学与字节跳动联合提出音视频联合生成框架JoVA，通过联合自注意力机制实现模态间直接交互，仅用约190万条数据训练，在唇形同步（LSE-C最高6.64）、语音准确性（WER低至0.18）和视频质量方面达到先进水平，且小模型（3.2B参数）效率显著优于更大模型。该方法引入嘴部区域特定损失与时间对齐位置编码，有效提升口型-语音对齐精度，实验验证其在多个基准上具备优越性能与扩展性。
来源：https://mp.weixin.qq.com/s/ZmID9Gmno3F1N2pypq9mlQ