981 B
981 B
AMusE: Audio-Visual Benchmark and Alignment Framework for Agentic Multi-Speaker Understanding
- 作者：Sanjoy Chowdhury 等
- 发表：CVPR 2026，22998–23009
- 阅读深度：摘要及官方论文页筛选
- 核查日期：2026-08-30
- 来源：CVF
摘要与项目关系
系统评估 MLLM 在多说话人对话中的人物身份追踪、角色保持及音视频事件时序 grounding，报告 当前通用模型在 agentic multi-speaker understanding 上仍有明显短板。
该工作不是 wearer floor-entry/yield 预测，也不能作为直接数值基线；它适合与 Multi-speaker Attention Alignment 一起支撑“简单加入视觉并不等于获得逐人社会理解”的动机。引用时应把 其 benchmark/理解任务与本项目 200ms 因果行为预测明确分开。