1.7 KiB
1.7 KiB
Advancing Active Speaker Detection for Egocentric Videos（EgoASD）
- 作者：Jaesung Huh、Juan Azcarreta Ortiz、Anurag Kumar、Ashutosh Pandey、Ali Aroudi、Daniel D. E. Wong、Francesco Nesta、Buye Xu、Jacob Donley
- 发表：ICASSP 2025
- 阅读深度：摘要、方法贡献和 EasyCom 结果筛选；未运行
- 记录日期：2026-09-07
- 来源：IEEE Xplore、DOI
摘要与项目关系
该工作针对第一视角视频中快速头动、运动模糊和视觉质量不稳定的问题，提出固定嘴部区域与 motion-blur augmentation，并将它们用于一个轻量、因果的音视频 active speaker detector。 论文报告 EgoASD 在 EasyCom 上比此前结果提高 1.7 个 mAP 点，同时模型规模约小 2.5 倍， 并进一步用于第一视角音视频 diarization。
它直接说明：EasyCom 的逐人视觉分支不能只依赖通用图像语义或稀疏静态人脸 embedding；嘴部 局部运动、短时音唇同步、运动模糊鲁棒性和因果 temporal context 都是更合理的 active-speaker 证据。若本项目最终声称人物视觉 grounding 有效，应把 EgoASD 或同等级 causal ASD feature 作为专用视觉前端基线/候选，而不能只和普通 Qwen face-crop pooling 比较。
适用边界
EgoASD 预测画面中候选人物当前是否发声，不预测不可见 wearer 未来是否进入或让出 floor。 因此它可以提供逐人 active-speaker evidence 或 oracle 的可学习替代，但不能直接替代本项目的 wearer floor-action head 和事件级评测。论文报告的 ASD mAP 也不能与本项目 0.2--2.0 秒未来 活动 mAP 直接比较。