Add pooled local AV baselines and research notes
This commit is contained in:
20
literature_notes/22_providellm.md
Normal file
20
literature_notes/22_providellm.md
Normal file
@@ -0,0 +1,20 @@
|
||||
# Streaming VideoLLMs for Real-Time Procedural Video Understanding
|
||||
|
||||
- 模型简称:ProVideLLM
|
||||
- 作者:Dibyadip Chatterjee 等
|
||||
- 会议:ICCV 2025
|
||||
- 阅读深度:摘要及引言筛选(缓存设计概述,未复现)
|
||||
- 记录日期:2026-08-27
|
||||
- 官方来源:[CVF 论文页](https://openaccess.thecvf.com/content/ICCV2025/html/Chatterjee_Streaming_VideoLLMs_for_Real-Time_Procedural_Video_Understanding_ICCV_2025_paper.html)
|
||||
|
||||
## 摘要(中文转述)
|
||||
|
||||
ProVideLLM 面向长时程、实时的程序性视频理解,将长期观察压缩成文本 token,同时用 DETR-QFormer 产生的视觉 token 保留近期细节。两类 token 组成多模态缓存,在保留任务历史的同时降低长视频的存储与计算开销;论文在多个程序性任务和数据集上评估这一设计。
|
||||
|
||||
## 与当前项目的关系
|
||||
|
||||
可借鉴“近期细节与长期上下文采用不同表示”的思想,而非将整段对话压入单个最终状态。但其模态缓存主要是视觉与文本,不是已验证的音视频接话模型;文本化长期历史也可能丢掉声学韵律。
|
||||
|
||||
## 本项目的待验证迁移
|
||||
|
||||
先测试冻结 Omni 历史状态与短期 AV 分支的融合,并与短期分支单独使用、普通拼接及参数量匹配头对照。论文速度数字不能直接用作本项目硬件和任务的速度预期。
|
||||
Reference in New Issue
Block a user