20 lines
1.2 KiB
Markdown
20 lines
1.2 KiB
Markdown
# Egocentric Auditory Attention Localization in Conversations
|
||
|
||
- 作者：Fiona Ryan、Hao Jiang、Abhinav Shukla、James M. Rehg、Vamsi Krishna Ithapu
|
||
- 会议：CVPR 2023
|
||
- 阅读深度：摘要及引言筛选
|
||
- 记录日期：2026-08-27
|
||
- 官方来源：[CVF 论文页](https://openaccess.thecvf.com/content/CVPR2023/html/Ryan_Egocentric_Auditory_Attention_Localization_in_Conversations_CVPR_2023_paper.html)
|
||
|
||
## 摘要（中文转述）
|
||
|
||
该工作研究多人噪声对话中佩戴者在听谁，而不只检测谁在发声。方法结合第一视角视频、多通道音频、时空 AV 特征与场景推理，预测佩戴者听觉注意目标的热图，并在多人对话数据上与基线比较。
|
||
|
||
## 与当前项目的关系
|
||
|
||
说话人的存在、当前发声和佩戴者关注对象是不同变量。可把参与者区域、头部朝向和互动关系视为接话预测的候选线索，但不能默认视线或头朝向等于真实听觉注意。
|
||
|
||
## 本项目的待验证迁移
|
||
|
||
以参与者集合而非全图平均特征做融合，并在有可靠标注时分析互动对象相关的错误。不要仅凭 wearer/others 活动标签生成“在听谁”的真值，也不要把原作检测结果当作未来轮次预测成绩。
|