20 lines
1.2 KiB
Markdown
20 lines
1.2 KiB
Markdown
# VideoLLM-online: Online Video Large Language Model for Streaming Video
|
||
|
||
- 作者：Joya Chen 等
|
||
- 会议：CVPR 2024
|
||
- 阅读深度：摘要级筛选（官方会议页面）
|
||
- 记录日期：2026-08-27
|
||
- 官方来源：[CVF 论文页](https://openaccess.thecvf.com/content/CVPR2024/html/Chen_VideoLLM-online_Online_Video_Large_Language_Model_for_Streaming_Video_CVPR_2024_paper.html)
|
||
|
||
## 摘要（中文转述）
|
||
|
||
该工作指出，面向预先切好的视频片段训练的视觉语言模型不自然地支持连续视频。LIVE 框架联合设计流式语言建模目标、离线时序标注到在线对话的数据转换，以及高效推理流程，让视频输入与响应时刻对齐。VideoLLM-online 用于连续视频中的在线交互，并评估多类视频任务。
|
||
|
||
## 与当前项目的关系
|
||
|
||
它提示“流式适配”不仅是复用 KV，还包括训练和推理时间契约一致。可借鉴因果样本构造与逐步决策设计，但原作不是混合音频中的多人接话预测，也没有证明任意 200 ms AV 切块有效。
|
||
|
||
## 本项目的待验证迁移
|
||
|
||
比较同样观察截止时间、同样训练标签下的原始 open-stream 与专门流式适配头；所有教师和学生输入都只能使用当前时刻以前的媒体。
|