1.2 KiB
1.2 KiB
Long-Term Social Interaction Context: The Key to Egocentric Addressee Detection
- 作者：Deqian Kong、Furqan Khan、Xu Zhang、Prateek Singhal、Ying Nian Wu
- 发表：ICASSP 2024
- 阅读深度：重点方法与输入设定；未运行
- 记录日期：2026-08-28
- 来源：Amazon Science、论文
摘要与项目关系
SICNet 在 Ego4D talking-to-me 中结合较长对话历史和人物视觉上下文。对话分支编码转写及 ego/non-ego 信息，视觉分支编码人脸、身体与位置，再融合做讲话对象分类。
启发是单纯“谁在讲话”不足以确定 wearer 是否应接话。限制是它在话语结束处分类，并使用数据集 diarization 和提供的框；不能把结果直接当作无真值输入的连续预测。我们应将讲话对象作为训练辅助目标，输入仍保持因果混合 AV。官方 TTM 划分与 EgoSpeak 划分需要独立核对。