Files
icassp2027-experiment/literature_notes/48_va_pretrained_multimodal_vap.md
2026-08-30 15:36:28 +08:00

941 B
Raw Permalink Blame History

Multimodal Voice Activity Projection for Turn-Taking in Social Robots with Voice-Activity-Related Pretrained Encoders

  • 状态:2026 预印本;作者声明 RO-MAN 2026 已接收,正式版本待发表
  • 阅读深度:重点编码器、LoRA、输入窗口和局限章节
  • 记录日期:2026-08-28
  • 来源:论文、发表状态

摘要与项目关系

把 TalkNet、Whisper-Flamingo 等与发声相关的 AV 骨干通过 LoRA 适配到双人 VAP,再加入跨人关系建模。为“专门 AV 表征+参数高效预测适配”提供直接候选。

不能直接采信为我们的因果基线:方法写到以 t 为中心的输入窗口和逐人信号,且承认尚未实时验证。迁移必须重新限定过去窗口、输入音源和输出可用时间,再报告结果。论文较高离线分数不证明可在相同真实提前量下复现。