14 lines
1.0 KiB
Markdown
14 lines
1.0 KiB
Markdown
# Visual Cues Support Robust Turn-taking Prediction in Noise
|
||
|
||
- 作者：Sam O’Connor Russell、Naomi Harte
|
||
- 发表：Interspeech 2025
|
||
- 阅读深度：重点输入、噪声实验及局限章节
|
||
- 记录日期：2026-08-28
|
||
- 来源：[ISCA](https://www.isca-archive.org/interspeech_2025/oconnorrussell25_interspeech.html)、[论文](https://www.isca-archive.org/interspeech_2025/oconnorrussell25_interspeech.pdf)
|
||
|
||
## 摘要与项目关系
|
||
|
||
研究预测式轮次模型对噪声的脆弱性，显示噪声训练能帮助多模态模型利用视觉，但对未知噪声和不准转写的泛化有限。视觉特征包括脸部动作、gaze、头姿等；数据为双人视频会议和逐人音轨。
|
||
|
||
我们可增加自然重叠、低信噪比、人物可见性分层，避免只看总体 AP；噪声增强应独立于正常社交互动主实验。其双路音频与对齐标注条件不等于 EasyCom 当前的单路混合输入。人为错配视觉导致下降也可能只是分布外错误，不能单独证明社会关系理解。
|