21 lines
1.3 KiB
Markdown
21 lines
1.3 KiB
Markdown
# Streaming VideoLLMs for Real-Time Procedural Video Understanding
|
||
|
||
- 模型简称：ProVideLLM
|
||
- 作者：Dibyadip Chatterjee 等
|
||
- 会议：ICCV 2025
|
||
- 阅读深度：摘要及引言筛选（缓存设计概述，未复现）
|
||
- 记录日期：2026-08-27
|
||
- 官方来源：[CVF 论文页](https://openaccess.thecvf.com/content/ICCV2025/html/Chatterjee_Streaming_VideoLLMs_for_Real-Time_Procedural_Video_Understanding_ICCV_2025_paper.html)
|
||
|
||
## 摘要（中文转述）
|
||
|
||
ProVideLLM 面向长时程、实时的程序性视频理解，将长期观察压缩成文本 token，同时用 DETR-QFormer 产生的视觉 token 保留近期细节。两类 token 组成多模态缓存，在保留任务历史的同时降低长视频的存储与计算开销；论文在多个程序性任务和数据集上评估这一设计。
|
||
|
||
## 与当前项目的关系
|
||
|
||
可借鉴“近期细节与长期上下文采用不同表示”的思想，而非将整段对话压入单个最终状态。但其模态缓存主要是视觉与文本，不是已验证的音视频接话模型；文本化长期历史也可能丢掉声学韵律。
|
||
|
||
## 本项目的待验证迁移
|
||
|
||
先测试冻结 Omni 历史状态与短期 AV 分支的融合，并与短期分支单独使用、普通拼接及参数量匹配头对照。论文速度数字不能直接用作本项目硬件和任务的速度预期。
|