14 lines
1.1 KiB
Markdown
14 lines
1.1 KiB
Markdown
# AV-Dialog: Spoken Dialogue Models with Audio-Visual Input
|
||
|
||
- 作者：Tuochao Chen、Bandhav Veluri、Hongyu Gong、Shyamnath Gollakota
|
||
- 发表：ACL 2026 主会，已核对 ACL Anthology
|
||
- 阅读深度：重点架构、训练附录和项目发布状态；未运行
|
||
- 记录日期：2026-08-28
|
||
- 来源：[正式条目](https://aclanthology.org/2026.acl-long.1954/)、[论文](https://arxiv.org/html/2511.11124)、[项目页](https://avdialog.cs.washington.edu/)
|
||
|
||
## 摘要与项目关系
|
||
|
||
融合视觉流和声学 token，在干扰说话人条件下学习目标人的语音理解、轮次事件与回复，比较分离理解/生成模块和统一模型。支持将人物感知与轮次监督结合，而不只在最终向量上做分类。
|
||
|
||
其目标人条件及合成干扰不等同于自由多人交流中的 wearer 进入预测。附录报告 stage 1 使用 128 A100、stage 2 使用 32 A100，完整训练不是本项目低成本起点；应借鉴任务分解，使用现成 Qwen3B 适配。项目页的代码链接仍标记 Coming Soon，不能假设已有可下载完整训练产物。
|