19 lines
1.4 KiB
Markdown
19 lines
1.4 KiB
Markdown
# See, Hear, and Understand: Benchmarking Audiovisual Human Speech Understanding in Multimodal Large Language Models
|
||
|
||
- 简称：AV-SpeakerBench
|
||
- 作者：Le Thien Phuc Nguyen 等
|
||
- 会议：CVPR **Findings** 2026；不是 CVPR 主会论文集
|
||
- 阅读深度：摘要及任务设计筛选；未复现
|
||
- 记录日期：2026-08-28
|
||
- 来源：[CVF 论文页](https://openaccess.thecvf.com/content/CVPR2026F/html/Nguyen_See_Hear_and_Understand_Benchmarking_Audiovisual_Human_Speech_Understanding_in_CVPRF_2026_paper.html)、[论文正文](https://arxiv.org/html/2512.02231)、[官方实现](https://github.com/plnguyen2908/AV-SpeakerBench)
|
||
|
||
## 摘要（中文转述）
|
||
|
||
该基准以说话人而非整个场景为推理单位，用 3,212 道选择题检验人、语音内容和时间的跨模态关联。问题设计强调仅看视频或仅听音频不应轻易解决所有问题，人工核查保证语音理解与画面证据确实相关。
|
||
|
||
## 本项目的启发与边界
|
||
|
||
为“视觉有意义”设计证据需求明确的小型诊断：保持音频不变，正确人物视图是否优于遮挡/错配视图？让模型区分多个可见人物，不只预测合并的 others。
|
||
|
||
原作是视频理解问答，不是未来轮次或合理打断的标注集。我们仍需独立的 wearer 事件指标、因果 cutoff 和稳定样本选择，不能拿自由文本解释代替预测成绩。
|