1.2 KiB
1.2 KiB
OmniMMI: A Comprehensive Multi-modal Interaction Benchmark in Streaming Video Contexts
- 作者：Yuxuan Wang 等
- 会议：CVPR 2025
- 阅读深度：摘要级筛选
- 记录日期：2026-08-27
- 官方来源：CVF 论文页
摘要（中文转述）
OmniMMI 面向持续输入下的多模态交互，评估流式理解与主动推理等能力，并提出多模态复用框架 M4，尝试让模型在生成时继续接收视觉和听觉信息。工作强调完整视频后的问答准确率不足以衡量在线交互，需要考虑响应时刻与连续输入。
与当前项目的关系
可借鉴“判断内容是否正确”和“何时做出判断”分开评估的思想。我们的 headline 仍应保持 EgoSpeak 的因果预测协议，再补充事件级时机指标、漏报/误触发和延迟。
适用边界
主动提醒与人类自然接话不是同一个任务。不能直接用其回答准确率或响应阈值替代 EasyCom/Ego4D 的活动 AP，也不能只报每秒输出五次就宣称端到端实时。