20 lines
1.2 KiB
Markdown
20 lines
1.2 KiB
Markdown
# OmniMMI: A Comprehensive Multi-modal Interaction Benchmark in Streaming Video Contexts
|
||
|
||
- 作者：Yuxuan Wang 等
|
||
- 会议：CVPR 2025
|
||
- 阅读深度：摘要级筛选
|
||
- 记录日期：2026-08-27
|
||
- 官方来源：[CVF 论文页](https://openaccess.thecvf.com/content/CVPR2025/html/Wang_OmniMMI_A_Comprehensive_Multi-modal_Interaction_Benchmark_in_Streaming_Video_Contexts_CVPR_2025_paper.html)
|
||
|
||
## 摘要（中文转述）
|
||
|
||
OmniMMI 面向持续输入下的多模态交互，评估流式理解与主动推理等能力，并提出多模态复用框架 M4，尝试让模型在生成时继续接收视觉和听觉信息。工作强调完整视频后的问答准确率不足以衡量在线交互，需要考虑响应时刻与连续输入。
|
||
|
||
## 与当前项目的关系
|
||
|
||
可借鉴“判断内容是否正确”和“何时做出判断”分开评估的思想。我们的 headline 仍应保持 EgoSpeak 的因果预测协议，再补充事件级时机指标、漏报/误触发和延迟。
|
||
|
||
## 适用边界
|
||
|
||
主动提醒与人类自然接话不是同一个任务。不能直接用其回答准确率或响应阈值替代 EasyCom/Ego4D 的活动 AP，也不能只报每秒输出五次就宣称端到端实时。
|