14 lines
1.1 KiB
Markdown
14 lines
1.1 KiB
Markdown
# LoCoNet: Long-Short Context Network for Active Speaker Detection
|
||
|
||
- 作者：Xizi Wang、Feng Cheng、Gedas Bertasius、David Crandall
|
||
- 发表：CVPR 2024
|
||
- 阅读深度：重点方法、训练、Ego4D 实验与代码说明；未运行
|
||
- 记录日期：2026-08-28
|
||
- 来源：[论文](https://arxiv.org/html/2301.08237)、[CVF 论文](https://openaccess.thecvf.com/content/CVPR2024/papers/Wang_LoCoNet_Long-Short_Context_Network_for_Active_Speaker_Detection_CVPR_2024_paper.pdf)、[官方代码](https://github.com/SJTUwxz/LoCoNet_ASD)
|
||
|
||
## 摘要与项目关系
|
||
|
||
用较长人物内时序建模和较短跨人物互动建模识别正在发声的人，在包含 Ego4D 的 ASD 数据上验证。提供训练代码和 AVA 预训练权重链接，可作为专门 AV 表征路线。
|
||
|
||
原方法对整段序列输出活动，不能直接视为因果未来预测。迁移需检查 temporal convolution、attention 和帧窗口，再训练/评测 causal 版本；不得将包含未来的离线特征接到因果 head。优先借鉴“人内时间＋人际交互”的分解，而非将相同混合音频重复后称为独立音源。
|