1.1 KiB
1.1 KiB
AV-Dialog: Spoken Dialogue Models with Audio-Visual Input
- 作者：Tuochao Chen、Bandhav Veluri、Hongyu Gong、Shyamnath Gollakota
- 发表：ACL 2026 主会，已核对 ACL Anthology
- 阅读深度：重点架构、训练附录和项目发布状态；未运行
- 记录日期：2026-08-28
- 来源：正式条目、论文、项目页
摘要与项目关系
融合视觉流和声学 token，在干扰说话人条件下学习目标人的语音理解、轮次事件与回复，比较分离理解/生成模块和统一模型。支持将人物感知与轮次监督结合，而不只在最终向量上做分类。
其目标人条件及合成干扰不等同于自由多人交流中的 wearer 进入预测。附录报告 stage 1 使用 128 A100、stage 2 使用 32 A100，完整训练不是本项目低成本起点；应借鉴任务分解，使用现成 Qwen3B 适配。项目页的代码链接仍标记 Coming Soon，不能假设已有可下载完整训练产物。