22 lines
1.6 KiB
Markdown
22 lines
1.6 KiB
Markdown
# EgoAVU: Egocentric Audio-Visual Understanding
|
||
|
||
- 作者：Ashish Seth 等
|
||
- 会议：CVPR 2026
|
||
- 阅读深度：摘要及官方实现说明筛选
|
||
- 记录日期：2026-08-27
|
||
- 官方来源：[arXiv 论文](https://arxiv.org/abs/2602.06139)、[官方实现](https://github.com/facebookresearch/EgoAVU)、[CVPR 会议目录](https://openaccess.thecvf.com/CVPR2026?day=2026-06-06)
|
||
|
||
## 摘要（中文转述）
|
||
|
||
EgoAVU 用数据生成与筛选流程，将第一视角视频中的音频和视觉关联补充到叙述、问题与答案中，构建训练集及人工核验的评测集。评测发现部分多模态模型偏重视觉、忽略音频或难以对应声音来源。围绕联合 AV 信息进行微调能改善相应理解能力，并在其他相关评测上体现迁移收益。
|
||
|
||
## 与当前项目的关系
|
||
|
||
“能输入 AV”不等于“有效利用 AV 对应关系”。因此应做 audio-only、video-only、AV 和错配/遮挡诊断，再决定是否训练模态连接层或加入对齐监督。
|
||
|
||
## 适用边界
|
||
|
||
其任务主要是理解与问答，并非多人轮次预测；大规模指令数据上的微调收益不保证迁移到小规模 EasyCom。由此提出的局部 LoRA、模态 dropout 等是我们的候选控制，而非本次阅读已验证的原作训练结论。
|
||
|
||
2026-08-28 核查：[官方 Training 说明](https://github.com/facebookresearch/EgoAVU#training)提供既有 Qwen2.5-Omni 的 LoRA / full SFT 配置。不能将这项工作解读为“已经证明必须额外增加一个模态连接层”。先检验输入组织和冻结模型的局部证据利用，再决定是否需要训练新模块。
|