14 lines
1.1 KiB
Markdown
14 lines
1.1 KiB
Markdown
# Whisper-Flamingo: Integrating Visual Features into Whisper for Audio-Visual Speech Recognition and Translation
|
||
|
||
- 第一作者：Andrew Rouditchenko
|
||
- 发表：Interspeech 2024
|
||
- 阅读深度：重点方法、融合消融与官方仓库说明；未运行
|
||
- 记录日期：2026-08-28
|
||
- 来源：[ISCA](https://www.isca-archive.org/interspeech_2024/rouditchenko24_interspeech.html)、[论文](https://arxiv.org/html/2406.10082)、[代码](https://github.com/roudimit/whisper-flamingo)
|
||
|
||
## 摘要与项目关系
|
||
|
||
将 AV-HuBERT 视觉特征通过门控 cross-attention 融入 Whisper decoder，在噪声条件改善语音识别和翻译。门控从零开始，初始新增层为恒等变换；适配阶段保留强音频模型。
|
||
|
||
这是“内部学习视觉增量”的直接结构参考，比直接修改冻结 hidden state 更有训练依据。但原版不是流式接话模型，也不是自动不退化保证；仍需按可用前缀限制视频/音频。我们优先试少量上层或临时 readout query 的 adapter，不照搬每层宽 cross-attention 的参数开销。
|