Record speaker-aware AV research and literature

This commit is contained in:
Xin Wang
2026-08-30 15:36:28 +08:00
parent 4abbde4f52
commit 348c5c3343
29 changed files with 907 additions and 6 deletions

View File

@@ -0,0 +1,13 @@
# Long-Term Social Interaction Context: The Key to Egocentric Addressee Detection
- 作者:Deqian Kong、Furqan Khan、Xu Zhang、Prateek Singhal、Ying Nian Wu
- 发表:ICASSP 2024
- 阅读深度:重点方法与输入设定;未运行
- 记录日期:2026-08-28
- 来源:[Amazon Science](https://www.amazon.science/publications/long-term-social-interaction-context-the-key-to-egocentric-addressee-detection)、[论文](https://cdn.amazon.science/64/e3/22da99d74e3097774c7fa907374f/long-term-social-interaction-context-the-key-to-egocentric-addressee-detection.pdf)
## 摘要与项目关系
SICNet 在 Ego4D talking-to-me 中结合较长对话历史和人物视觉上下文。对话分支编码转写及 ego/non-ego 信息,视觉分支编码人脸、身体与位置,再融合做讲话对象分类。
启发是单纯“谁在讲话”不足以确定 wearer 是否应接话。限制是它在话语结束处分类,并使用数据集 diarization 和提供的框;不能把结果直接当作无真值输入的连续预测。我们应将讲话对象作为训练辅助目标,输入仍保持因果混合 AV。官方 TTM 划分与 EgoSpeak 划分需要独立核对。