阿里开源ThinkSound音频模型，首创CoT思维链技术实现精准音画同步
阿里通义语音团队开源全新泛音频生成模型ThinkSound，首次将CoT（思维链）推理引入音频领域，显著提升视频配音中音画同步的精准度与真实感。该模型基于多模态大语言模型与流匹配技术，分三阶段分析画面动态、识别声音来源并响应用户指令，实现高保真音频生成。在VGGSound数据集上，ThinkSound超越6种主流方法，在多项指标表现优异。团队同时构建了首个带思维链标注的音频数据集AudioCoT（共2531.8小时）。模型提供三种参数规模版本，适合开发者灵活部署。来源：https://mp.weixin.qq.com/s/NPb2iQvAiTJb0LZG8CSdXg
页:
[1]