14 lines
1.0 KiB
Markdown
14 lines
1.0 KiB
Markdown
# Vision Transformers Are Parameter-Efficient Audio-Visual Learners
|
||
|
||
- 作者：Yan-Bo Lin、Yi-Lin Sung、Jie Lei、Mohit Bansal、Gedas Bertasius
|
||
- 发表：CVPR 2023
|
||
- 阅读深度：方法段落及官方项目说明；未运行
|
||
- 记录日期：2026-08-28
|
||
- 来源：[CVF](https://openaccess.thecvf.com/content/CVPR2023/html/Lin_Vision_Transformers_Are_Parameter-Efficient_Audio-Visual_Learners_CVPR_2023_paper.html)、[项目页](https://genjib.github.io/project_page/LAVISH/)
|
||
|
||
## 摘要与项目关系
|
||
|
||
LAVISH 在冻结 ViT 中插入可训练 latent AV adapter，通过少量 token 压缩和双向跨模态交换实现高效迁移。任务包含 AV 事件等，不要求重新大规模预训练全部模型。
|
||
|
||
支持“小型跨模态连接也值得训练”的方案。这里冻结的是 ViT，而非 Qwen Thinker；将其思想用于现有 Omni 必须重新实现接口和时序限制。若 adapter 位于 encoder 内部，原先冻结 encoder 的离线特征不再有效，不能一边改 encoder 一边复用旧输出。
|