1.0 KiB
1.0 KiB
Multimodal Large Language Models with Fusion Low Rank Adaptation for Device Directed Speech Detection
- 第一作者：Shruti Palaskar；Apple
- 发表：Interspeech 2024
- 阅读深度：重点方法、输入与指标章节；未运行
- 记录日期：2026-08-28
- 来源：ISCA 论文、Apple
摘要与项目关系
FLoRA 通过模态投影、低秩适配及缺失模态处理，让预训练语言模型吸收音视频，判断语音是否对设备发出。使用 BART/T5 系列与私有数据，采用 EER 和固定 false reject rate 下的 false accept rate。
两点可借鉴：固定召回比较误触发有先例；局部特征可以通过训练适配进入模型，不必局限最终拼接。其任务是 utterance-level device-directed detection，不是 wearer onset。当前均值向量虽可训练映射，却不能被声称保留了原生细粒度媒体 token 的全部信息。