29 lines
1.9 KiB
Markdown
29 lines
1.9 KiB
Markdown
# Speaker Embedding Informed Audiovisual Active Speaker Detection for Egocentric Recordings
|
||
|
||
- 作者：Jason Clarke、Yoshihiko Gotoh、Stefan Goetze
|
||
- 发表：ICASSP 2025
|
||
- 阅读深度：摘要、方法和实验设置重点阅读；未运行
|
||
- 记录日期：2026-09-07
|
||
- 来源：[IEEE Xplore](https://ieeexplore.ieee.org/document/10890414/)、[arXiv](https://arxiv.org/abs/2502.06012)、[作者公开论文](https://eprints.whiterose.ac.uk/id/eprint/223485/1/Jason_ICASSP_2025.pdf)
|
||
|
||
## 摘要与项目关系
|
||
|
||
该工作研究第一视角场景中候选人物的音视频 active speaker detection。作者提出 Speaker
|
||
Comparison Auxiliary Network（SCAN）：除候选人的参考语音 embedding 外，还从当前混合
|
||
音频的滑动窗口提取 speaker embedding，再通过 cross-attention 比较当前声音和已登记身份。
|
||
论文同时提出自监督的 video face recognition 调优方法，用于构建更稳健的 face--speaker
|
||
身份库。SCAN 接入 TalkNet 和 Light-ASD 后，在 Ego4D-AVD 上分别报告 14.5% 和 10.3% 的
|
||
相对 mAP 提升。
|
||
|
||
它说明显式 speaker reference/identity memory 在视觉遮挡或嘴部线索不可用时已有明确先例。
|
||
因此本项目不应把“用 track identity 帮助音视频说话者判断”本身作为 novelty。更合适的限定是：
|
||
人物轨迹保持匿名，不依赖预登记语音或长期身份库，只使用截止当前时刻可获得的因果轨迹，
|
||
目标是预测不可见 wearer 的未来 entry/yield 行为。
|
||
|
||
## 适用边界
|
||
|
||
SCAN 需要候选人的预分离参考语音并建立 face--speaker library；这与本项目计划的在线、匿名、
|
||
无 enrollment 场景不同。它仍然做当前逐人物 ASD，不评估 wearer 的未来错误开口、响应延迟
|
||
或 yield。若以后引入 speaker embedding，必须单列 enrollment 依赖，并确保参考语音只来自
|
||
预测截止时间之前，不能从整段视频或测试片段未来部分建立身份库。
|