1.2 KiB
1.2 KiB
MuVAP: Multimodal Multiparty Voice Activity Projection for Turn-taking Prediction in the Wild
- 作者：Haotian Qi、Gabriel Skantze
- 状态：2026 预印本；作者仓库标注 Interspeech 2026，本轮未找到正式 ISCA 条目
- 阅读深度：重点方法、训练、事件评测及局限章节；未运行
- 核查日期：2026-08-28
- 来源：论文、官方仓库
摘要与项目关系
将单声道混合音频与逐人脸轨迹结合，先学习声学轮次和因果 ASD 表示，再融合为全局及逐人未来活动预测。用相对发言角色控制多人联合状态空间；任务包含 shift/hold 和 next speaker。是我们逐人时序旁路最直接的相关工作。
不能把“单声道＋逐人视觉＋因果接话”作为独有贡献。我们的区别需要落在不可见 wearer、讲话对象及受召回约束的误开口上，而不是只换编码器。
作者承认角色识别存在延迟；验证主要为第三人称双人/三人英语场景。数据预处理的全片身份锚点也需与严格在线 tracking 分开讨论。仓库当前只有 README/LICENSE，写明 code coming soon；不要称已有可直接运行的复现。