icassp2027-experiment/literature_notes/15_multilingual_vap.md

Multilingual Turn-taking Prediction Using Voice Activity Projection

• 会议：LREC-COLING 2024
• 阅读深度：摘要级筛选
• 官方链接：https://aclanthology.org/2024.lrec-main.1036/

摘要（中文转述）

该论文研究 Voice Activity Projection 在英语、普通话和日语对话中的跨语言能力，比较单语和多语训练，并分析音高等声学线索对轮次预测的影响。结果表明，多语言训练可以获得接近单语言模型的表现，说明部分轮次线索具有跨语言共享性。

与当前项目的关系

它提醒我们 EasyCom/Ego4D 上的提升可能来自可迁移的韵律线索，而不仅是视觉或语义上下文。未来可将 Qwen 隐状态与轻量 pitch、energy、VAD 特征做受控融合，检验冻结大模型是否丢失了对 transition 最敏感的低层声学信息。