1.1 KiB
1.1 KiB
EgoSpeak: Learning When to Speak for Egocentric Conversational Agents in the Wild
- 会议：Findings of NAACL 2025
- 阅读深度：深入阅读
- 官方链接：https://aclanthology.org/2025.findings-naacl.163/
摘要（中文转述）
EgoSpeak 研究第一人称智能体在自然多人对话中“何时开口”。任务要求模型只利用当前及过去的第一人称视觉和音频，在连续、未裁剪场景中预测近期说话状态。工作引入大规模网络对话预训练，并在 EasyCom 与 Ego4D 上评估，强调多模态输入、较长上下文和在线因果约束对开口预测的重要性。
与当前项目的关系
它定义了本项目复现的核心协议：5 Hz 目标、多个未来预测时距、EasyCom/Ego4D 划分及 AP/mAP 评测。我们发现 EasyCom 中 wearer 与 others 可以同时为真，因此三路 softmax 的互斥输出与真实标签结构不完全一致；四状态 softmax 和独立 BCE 的消融虽更匹配标签结构，但当前四个 epoch 的收益很小，说明主要瓶颈可能不是输出空间。