wx44wx/icassp2027-experiment
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Record speaker-aware AV research and literature

Browse Source
This commit is contained in:
Xin Wang
2026-08-30 15:36:28 +08:00
parent 4abbde4f52
commit 348c5c3343
29 changed files with 907 additions and 6 deletions
Download Patch File Download Diff File Expand all files Collapse all files

13
literature_notes/35_av_dialog.md Normal file
View File

@@ -0,0 +1,13 @@
# AV-Dialog: Spoken Dialogue Models with Audio-Visual Input
- 作者：Tuochao Chen、Bandhav Veluri、Hongyu Gong、Shyamnath Gollakota
- 发表：ACL 2026 主会，已核对 ACL Anthology
- 阅读深度：重点架构、训练附录和项目发布状态；未运行
- 记录日期：2026-08-28
- 来源：[正式条目](https://aclanthology.org/2026.acl-long.1954/)、[论文](https://arxiv.org/html/2511.11124)、[项目页](https://avdialog.cs.washington.edu/)
## 摘要与项目关系
融合视觉流和声学 token，在干扰说话人条件下学习目标人的语音理解、轮次事件与回复，比较分离理解/生成模块和统一模型。支持将人物感知与轮次监督结合，而不只在最终向量上做分类。
其目标人条件及合成干扰不等同于自由多人交流中的 wearer 进入预测。附录报告 stage 1 使用 128 A100、stage 2 使用 32 A100，完整训练不是本项目低成本起点；应借鉴任务分解，使用现成 Qwen3B 适配。项目页的代码链接仍标记 Coming Soon，不能假设已有可下载完整训练产物。