Meta推出多模态对话图，助力识别社交状态

Meta、佐治亚理工和伊利诺伊大学的研究团队开发了一种多模态框架，名为AV-CONV，它能像人类一样识别第一人称视角下的复杂对话状态。该框架利用音视频信号，通过自注意力机制构建对话图，识别人们在社交互动中的倾听和讲话行为。实验结果显示，AV-CONV在处理多人对话时表现优越，尤其在利用跨时间注意力检测语音活动方面。这项工作不仅为理解和建模人类社交行为提供了新途径，也为未来分析更多人类行为如眼神交流打下了基础。
来源：https://mp.weixin.qq.com/s/nFDY0aKUKm93TukDl28rTQ